Привет, Хабр! С вами Артём, аналитик больших данных МегаФона. На работе занимаюсь рекомендательными системами и интересуюсь NLP. Эти две вещи и привели меня к рассматриваемой тут теме, так что садитесь поудобнее, и поехали. Кстати, к статье прилагается код, ищите ссылки внутри.
Администрирование
- Новые
- Лучшие
- Все
- ≥0
- ≥10
- ≥25
- ≥50
- ≥100
Новости
FOSS News №80 – дайджест материалов о свободном и открытом ПО за 19—25 июля 2021 года
Всем привет!
Продолжаем дайджесты новостей и других материалов о свободном и открытом ПО и немного о железе. Всё самое главное про пингвинов и не только, в России и мире.
Главные темы нового выпуска:
- Яндекс открывает датасеты Беспилотных автомобилей, Погоды и Переводчика, чтобы помочь решить проблему сдвига данных в ML.
- IBM, MIT и Harvard открывают наборы данных и модели машинного обучения.
- Steam Deck — революция для линукс гейминга?
- Немецкое агентство по цифровизации здравоохранения выбрало Matrix как стандарт для обмена сообщениями.
- В сентябре состоится конференция PyCon Russia.
- «Из первых рук»: серия роликов об ОС «Альт».
- Будущее мобильных сетей 5G: программно-определяемый подход с Open Source, опыт Canonical.
- В конце июля состоится онлайн-конференция JuliaCon 2021.
- Свобода в движении вперёд: обзор истории FSF.
- Конференция «СПО: от обучения до разработки» (отчёт).
- Linux Foundation объявил расписание конференции Open Source Summit и Embedded Linux Conference 2021.
И многое другое…
P.S.: Небольшое объявление — теперь все видео собираются в отдельный блок.
Кунг-фу стиля Linux: о повторении кое-каких событий сетевой истории
tcpreplay
, которые позволяют записывать совокупный сетевой трафик, а потом «воспроизводить» его различными способами. У применения этого приёма есть множество сильных сторон. Особенно — если удалось «изловить» именно то, что эпизодически приводит к возникновению ошибок. Возможность по желанию «воспроизводить» такой трафик способна значительно ускорить процесс диагностики сетевых проблем.GitFlic. Российский GitHub. Рассмотрение сервиса и его нюансы
В этой статье мы рассмотрим новый российский сервис от компании ООО "Ресолют" под названием GitFlic, где попробуем найти хорошие моменты, а также выльем весь шкал критики на разработчиков этого чуда...
Цифровизация Луны: как НАСА собирается обеспечить связью естественный спутник Земли
Не так давно НАСА заявило о том, что планирует вернуть людей на Луну. Такие же планы есть у некоторых других стран, включая Китай и Индию, а также у частных космических компаний — без Маска и здесь не обошлось. Скорее всего, хотя бы часть этих планов будет реализована в ближайшее время.
И для этого на Луне нужна сетевая инфраструктура, которая обеспечит связь между колонистами, отдельными устройствами, а также Землей и Луной. Связь нужна везде, включая обратную сторону нашего спутника, и НАСА уже сейчас готовит проект по разворачиванию лунной сети. Название проекта говорит само за себя — LunaNet. Под катом — подробности.
UX/UI-дизайнер: все, что вы хотели знать, но боялись спросить
Сегодня мы поговорим о наиболее распространенной в компаниях на данный момент роли: UX/UI-дизайнера в единственном лице (UX Generalist, будем называть его так). Он решает широкий спектр задач: исследует поведенческие паттерны, проектирует различные варианты пользовательского опыта, прорабатывает те или иные гипотезы совместно с командой, тестирует их, проводит пользовательские интервью и исследования, и учетом полученных данных создает привлекательный, понятный и удобный интерфейс, который помогает решить предполагаемую задачу пользователя.
Делаем сервер из Android-телефона
Некоторое время назад мне пришла в голову интересная идея — превратить свои старые телефоны (их скопилось немало за десять лет) в серверы, в качестве альтернативы покупке Raspberry Pi.
На то было несколько причин: во-первых, у телефонов есть батарея, что для сервера практически бесплатный мини-UPS, во-вторых, внутренняя память смартфона (UFS) работает быстрее и надёжнее, чем SD-карта. В-третьих, у телефонов имеется экран, по которому можно отслеживать состояние сервера.
Ну и в-четвёртых, мне просто было жаль их выбрасывать. Консьюмеризм в наше время предписывает каждый год-два покупать новые смартфоны, производители блокируют возможности железа, которые им невыгодны, прекращают поддержку старых моделей, оставляя людей беспомощными. Миллионы смартфонов отправляются на свалку истории каждый год, хотя каждый из них это мощный компьютер.
TL;DR: в этом посте будут разобраны вопросы установки PostmarketOS на смартфон,
поднятия на нём в качестве примера Docker и веб-приложения в нём.
Как успешно подготовиться и сдать экзамен AWS Solutions Architect Associate SAA-C02
Всем привет!
Меня зовут Сергей Яворский. Я работаю в EPAM Systems около 5 лет. Я хотел бы поделиться своим опытом в получении сертификатов AWS. На данный момент у меня их три, в этом посте я хочу рассказать о своем процессе участия в программе сертификации AWS Solution Architect Associate SAA-C02 в рамках AWS Global Certification Program от EPAM.
Сначала хотел бы немного пояснить, зачем мне это понадобилось. У меня было две цели:
Что если изменить систему единиц времени? Это жестко?
Официальный сайт движения за изменение системы единиц времени.
Здесь я подробно напишу на русском языке объяснение.
Шпаргалка по метрикам производительности cURL: как измерить задержку сервера
Эту шпаргалку я написал в первую очередь, потому что был несколько озадачен, когда в течение более, чем 10 минут пытался найти в Google значение
time_pretransfer
. Попробуйте сами, я подожду. Это настоящая загадка!Автоматизация учёта в 1С
В один из суетливых дней на пороге отдела разработки появился технический директор с горящими глазами и предложением нового проекта, который нужно разработать и внедрить. Желательно не «через год», а в разумные сроки.
По результатам обсуждений собрали основной бриф:
Что нам стоит ЦОД построить: необычные места для размещения дата-центров
С каждым годом растет объем информации, генерируемой человечеством. Ее нужно как-то обрабатывать, хранить, анализировать. А значит, нужны центры обработки данных, которых тоже становится все больше. Их строят повсюду, причем не только на суше, но и на воде, в виде плавучих платформ. Есть даже подводные ЦОД, хотя они пока что работают в качестве тестовых объектов.
Все дата-центры объединяет одно — им нужны вода, электричество, сетевая инфраструктура и прочие ресурсы. Поэтому строить ЦОД можно далеко не везде. В некоторых случаях в качестве строительства выбирают места, где уже есть какие-то сооружения, их модифицируют и размещают внутри оборудование. Либо же комбинируют системы дата-центра с другими системами — например, заводов, фабрик, ферм. Вот о таких объектах сегодня и поговорим.
Кунг-фу стиля Linux: базы данных — это файловые системы нового уровня
Меня, если говорить о накопителях данных, удивляет то, что понятие «файловая система», в том виде, в котором мы его знаем, за годы его существования изменилось не слишком сильно. Конечно, если сравнить то, что есть сейчас, с тем, что было, скажем, в 1960-е годы, то можно сказать, что в наши дни файловые системы дают нам гораздо более широкий функционал, чем прежде. В наши дни всё гораздо лучше в плане скорости, способов кодирования, шифрования, сжатия данных и так далее. Однако фундаментальная природа того, как мы храним файлы, и того, как с ними работаем в компьютерных программах, практически не изменилась. А всё должно быть не так. Нам известны более эффективные способы организации данных, но по каким-то причинам большинство из нас не пользуется этими возможностями в своих программах. Оказывается, правда, что пользоваться ими достаточно просто, и я собираюсь это продемонстрировать на экспериментальном приложении, которое вполне может стать отправной точкой разработки базы данных электронных компонентов для моей лаборатории.
Еще 5 причин выбрать Apache Pulsar вместо Apache Kafka
Под катом — перевод статьи-сравнения Apache Pulsar и Apache Kafka. Статья в некоторой степени рекламная, т.к. написана заинтересованным лицом, но как минимум, возбуждает интерес копнуть глубже. Поехали.
Переведено @middle_java
Как построить свой самолет со своим двигателем на сверхпроводниках и жидким азотом
Подсказка: сделать все маленьким.
Вступление
Всем привет. По образованию я инженер по эксплуатации летательных аппаратов и авиационных двигателей, но в данной статье я опишу как сделал небольшой электродвигатель на сверх проводниках и поэтому мое вступление прошу принять как оправдание к тому, что в разработке и изготовлении электродвигателей я не обладаю достаточной компетенцией и опытом, но все-же я его сделал.
Межсетевой прокси: Доступ в Интернет, Tor, I2P и другие сети через Yggdrasil
Путешествуя по обычному интернету мы не задумываемся над доменными зонами: ru, com, org и так далее, потому что все они открываются одинаково. Однако, настроив браузер для открытия сайта в сети I2P, вы не откроете onion-домен из сети Tor. Для этого нужно будет сменить настройки прокси-сервера. Поковырявшись с конфигами, вы сможете упростить эту задачу, но, если добавить сюда еще сеть Yggdrasil, тема сильно усложнится. Таким образом настройки вашего браузера будут неизменно усложняться, тем самым создавая поле для потенциальных утечек запросов с вашего настоящего IP-адреса на сомнительные ресурсы. И это при условии, что программы для доступа во все названные сети должны быть установлены на каждое из ваших устройств, где вы хотите ими пользоваться.
В этой статье рассмотрим настройку межсетевого прокси-сервера, который нужно настроить всего лишь один раз и затем использовать с любых устройств, переходя от сайта в одной сети на ресурс в другой скрытой сети вообще не задумываясь о дополнительных настройках браузера или чего-то еще.
Мой опыт сотрудничества с искусственным интеллектом или как я создал свой первый сайт
Здравствуйте, уважаемые хаброЮзеры.Меня зовут Павел, я журналист и это моя первая статья на Хабр.Я являюсь фанатом разного рода технологий, и в особенности слежу за развитием области Искусственного Интеллекта (нейронок и всё что с этим связано). И спешу поделиться своим опытом сотрудничества с искусственным интеллектом.....
Обработка больших данных: первые шаги в понимании Hadoop MapReduce и Spark
Привет, Хабр!
Меня зовут Эмилия Межекова, я ETL-developer в компании Luxoft.
Я расскажу о своём опыте работе с Big Data и почему Spark лучше, чем Hadoop MapReduce в обработке данных. Big Data как концепт довольно понятна, но из-за того, что она включает в себя множество процессов, сложно сказать, с чего именно нужно начать изучение. Как хранятся файлы? Или как получать эти файлы? А может, сразу — как анализировать данные? Читайте подробнее под катом.
Облачная автоматизация применимо к RPA
Облачные вычисления - это процесс выполнения рабочих нагрузок в облаках - ИТ-средах, которые абстрагируют, объединяют и совместно используют масштабируемые ресурсы в сети. Ни облачные вычисления, ни облака сами по себе не являются технологиями. И такое применение автоматизации не обошло RPA стороной.
Привет! Меня зовут Андрей и я являюсь руководителем направления RPA в компании NTT DATA Business Solutions. За время работы в разработке автоматизированных процессов у меня сложилось определенное понимаение о специфике автоматизиции труда программистов, а именно облачной автоматизации, о чем я бы хотел сегодня написать.
Многие компании видят и понимают необходимость во внедрении у себя роботизированной автоматизации процессов (RPA). И это логично, так как это позволит им повысить эффективность своей деятельности, вне зависимости от их глобальности, количества сотрудников или других определяющих факторов. И если по части разработки процесса на основании технологии RPA – вопросов возникает меньше, ведь зачастую среды разработки подобных процессов имеют инструменты визуального программирования, что помогает освоиться в новой технологии, то при внедрении промышленных проектов соответствующей технологии, возникает вопрос, а как это будет управляться, есть ли какие-то стандартизированные подходы для имплементации проекта RPA и еще целый пул организационных вопросов, которые не менее важны чем написание кода проекта.
В данной статье я приведу в пример распространённую платформу для автоматизации бизнес-решений – UiPath, облачное решение которой– Оркестратор, считается одной из лучших, и посмотрим, какие предложения по облачной автоматизации и управлению RPA- процессами она имеет.
Почему it-аутсорсинг это выгодно и в чем его плюсы
Друзья, а кто-нибудь задумывался о том, кто как выбирает себе компанию подрядчика или человека в команду для выполнения тех или иных работ со своей it-инфраструктурой? Вот у вас есть свой продукт, проект или может вы работаете в какой-то крупной компании, но так или иначе, если вы работаете в it-сфере, значит у вас есть своя инфраструктура за которой нужно следить. Для этого нужна команда, которая не только будет отвечать всем последним практикам в работе с этой инфраструктурой, но и обеспечивать соответствующий уровень ее поддержки, развития да и в целом будет находить баланс. Будет толкать бизнес вперед к развитию, обеспечивая для этого все нужные процессы.