Как стать автором
Обновить

Администрирование

Сначала показывать
  • Новые
  • Лучшие
Порог рейтинга
  • Все
  • ≥0
  • ≥10
  • ≥25
  • ≥50
  • ≥100

«От категорий к векторам» или нестандартное кодирование категориальных данных. Часть 1

Блог компании МегаФонData MiningBig DataМашинное обучениеData Engineering
Tutorial

Привет, Хабр! С вами Артём, аналитик больших данных МегаФона. На работе занимаюсь рекомендательными системами и интересуюсь NLP. Эти две вещи и привели меня к рассматриваемой тут теме, так что садитесь поудобнее, и поехали. Кстати, к статье прилагается код, ищите ссылки внутри.

В путь
Всего голосов 5: ↑4 и ↓1+3
Просмотры392
Комментарии 0

Новости

Показать еще

FOSS News №80 – дайджест материалов о свободном и открытом ПО за 19—25 июля 2021 года

Open source*nix

Всем привет!


Продолжаем дайджесты новостей и других материалов о свободном и открытом ПО и немного о железе. Всё самое главное про пингвинов и не только, в России и мире.


Главные темы нового выпуска:


  1. Яндекс открывает датасеты Беспилотных автомобилей, Погоды и Переводчика, чтобы помочь решить проблему сдвига данных в ML.
  2. IBM, MIT и Harvard открывают наборы данных и модели машинного обучения.
  3. Steam Deck — революция для линукс гейминга?
  4. Немецкое агентство по цифровизации здравоохранения выбрало Matrix как стандарт для обмена сообщениями.
  5. В сентябре состоится конференция PyCon Russia.
  6. «Из первых рук»: серия роликов об ОС «Альт».
  7. Будущее мобильных сетей 5G: программно-определяемый подход с Open Source, опыт Canonical.
  8. В конце июля состоится онлайн-конференция JuliaCon 2021.
  9. Свобода в движении вперёд: обзор истории FSF.
  10. Конференция «СПО: от обучения до разработки» (отчёт).
  11. Linux Foundation объявил расписание конференции Open Source Summit и Embedded Linux Conference 2021.

И многое другое…


P.S.: Небольшое объявление — теперь все видео собираются в отдельный блок.


Читать дальше →
Всего голосов 3: ↑3 и ↓0+3
Просмотры362
Комментарии 0

Кунг-фу стиля Linux: о повторении кое-каких событий сетевой истории

Блог компании RUVDS.comНастройка LinuxСистемное администрирование*nix
Перевод
В наши дни во встроенных системах часто имеется поддержка сети. Это может значительно их усложнить. Сетевая нагрузка на системы обычно не отличается высоким уровнем детерминированности, существуют разные варианты таких нагрузок. Порой в сетях происходят довольно-таки странные события. Например, пусть у кого-то имеется монтажная машина (PNP), к которой может обратиться любой пользователь интернета. Про эту машину написали статью на Hackaday, после чего её владелец вдруг обнаружил, что объём данных, которыми она обменивается с интернетом, возрос в 50 раз. Как в такой ситуации ведёт себя сетевая подсистема этой машины? И хотя в задаче тестирования сетей нет универсального инструмента, способного устранить все проблемы, существуют приёмы работы, которые могут упростить решение этой задачи. Один из таких приёмов работы заключается в использовании утилит из набора tcpreplay, которые позволяют записывать совокупный сетевой трафик, а потом «воспроизводить» его различными способами. У применения этого приёма есть множество сильных сторон. Особенно — если удалось «изловить» именно то, что эпизодически приводит к возникновению ошибок. Возможность по желанию «воспроизводить» такой трафик способна значительно ускорить процесс диагностики сетевых проблем.


Читать дальше →
Всего голосов 19: ↑19 и ↓0+19
Просмотры1.5K
Комментарии 2

GitFlic. Российский GitHub. Рассмотрение сервиса и его нюансы

GitУправление разработкойОблачные сервисы

В этой статье мы рассмотрим новый российский сервис от компании ООО "Ресолют" под названием GitFlic, где попробуем найти хорошие моменты, а также выльем весь шкал критики на разработчиков этого чуда...

Читать далее
Всего голосов 33: ↑18 и ↓15+3
Просмотры4.7K
Комментарии 29

Цифровизация Луны: как НАСА собирается обеспечить связью естественный спутник Земли

Блог компании SelectelIT-инфраструктураНаучно-популярноеКосмонавтикаСотовая связь

Не так давно НАСА заявило о том, что планирует вернуть людей на Луну. Такие же планы есть у некоторых других стран, включая Китай и Индию, а также у частных космических компаний — без Маска и здесь не обошлось. Скорее всего, хотя бы часть этих планов будет реализована в ближайшее время.

И для этого на Луне нужна сетевая инфраструктура, которая обеспечит связь между колонистами, отдельными устройствами, а также Землей и Луной. Связь нужна везде, включая обратную сторону нашего спутника, и НАСА уже сейчас готовит проект по разворачиванию лунной сети. Название проекта говорит само за себя — LunaNet. Под катом — подробности.
Читать дальше →
Всего голосов 20: ↑20 и ↓0+20
Просмотры1.5K
Комментарии 1

UX/UI-дизайнер: все, что вы хотели знать, но боялись спросить

Блог компании HaysIT-инфраструктураГрафический дизайнУправление персоналомКарьера в IT-индустрии

Сегодня мы поговорим о наиболее распространенной в компаниях на данный момент  роли: UX/UI-дизайнера в единственном лице (UX Generalist, будем называть его так). Он решает широкий спектр задач: исследует поведенческие паттерны, проектирует различные варианты пользовательского опыта, прорабатывает те или иные гипотезы совместно с командой, тестирует их, проводит пользовательские интервью и исследования, и учетом полученных данных создает привлекательный, понятный и удобный интерфейс, который помогает решить предполагаемую задачу пользователя.

Читать далее
Всего голосов 2: ↑1 и ↓10
Просмотры871
Комментарии 2

Делаем сервер из Android-телефона

Настройка Linux*nixРазработка под AndroidКомпьютерное железо
Tutorial

Некоторое время назад мне пришла в голову интересная идея — превратить свои старые телефоны (их скопилось немало за десять лет) в серверы, в качестве альтернативы покупке Raspberry Pi.


image


На то было несколько причин: во-первых, у телефонов есть батарея, что для сервера практически бесплатный мини-UPS, во-вторых, внутренняя память смартфона (UFS) работает быстрее и надёжнее, чем SD-карта. В-третьих, у телефонов имеется экран, по которому можно отслеживать состояние сервера.


Ну и в-четвёртых, мне просто было жаль их выбрасывать. Консьюмеризм в наше время предписывает каждый год-два покупать новые смартфоны, производители блокируют возможности железа, которые им невыгодны, прекращают поддержку старых моделей, оставляя людей беспомощными. Миллионы смартфонов отправляются на свалку истории каждый год, хотя каждый из них это мощный компьютер.


TL;DR: в этом посте будут разобраны вопросы установки PostmarketOS на смартфон,
поднятия на нём в качестве примера Docker и веб-приложения в нём.

За длинной версией под кат
Всего голосов 81: ↑80 и ↓1+79
Просмотры22K
Комментарии 53

Как успешно подготовиться и сдать экзамен AWS Solutions Architect Associate SAA-C02

Amazon Web ServicesDevOps
Из песочницы

Всем привет!

 Меня зовут Сергей Яворский. Я работаю в EPAM Systems около 5 лет. Я хотел бы поделиться своим опытом в получении сертификатов AWS. На данный момент у меня их три, в этом посте я хочу рассказать о своем процессе участия в программе сертификации AWS Solution Architect Associate SAA-C02 в рамках AWS Global Certification Program от EPAM.

 Сначала хотел бы немного пояснить, зачем мне это понадобилось. У меня было две цели:

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Просмотры2.8K
Комментарии 1

Что если изменить систему единиц времени? Это жестко?

Анализ и проектирование системСистемы сборкиИнженерные системы

Официальный сайт движения за изменение системы единиц времени.

Здесь я подробно напишу на русском языке объяснение.

Читать далее
Всего голосов 64: ↑40 и ↓24+16
Просмотры15K
Комментарии 336

Шпаргалка по метрикам производительности cURL: как измерить задержку сервера

Блог компании RUVDS.comРазработка веб-сайтовСистемное администрированиеСерверное администрирование
Перевод


Эту шпаргалку я написал в первую очередь, потому что был несколько озадачен, когда в течение более, чем 10 минут пытался найти в Google значение time_pretransfer. Попробуйте сами, я подожду. Это настоящая загадка!
Читать дальше →
Всего голосов 34: ↑33 и ↓1+32
Просмотры4.5K
Комментарии 2

Автоматизация учёта в 1С

Клиентская оптимизацияAPICRM-системыОблачные сервисы
Из песочницы

В один из суетливых дней на пороге отдела разработки появился технический директор с горящими глазами и предложением нового проекта, который нужно разработать и внедрить. Желательно не «через год», а в разумные сроки.

По результатам обсуждений собрали основной бриф:

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Просмотры1.9K
Комментарии 6

Что нам стоит ЦОД построить: необычные места для размещения дата-центров

Блог компании SelectelIT-инфраструктураСетевые технологииЭнергия и элементы питания

С каждым годом растет объем информации, генерируемой человечеством. Ее нужно как-то обрабатывать, хранить, анализировать. А значит, нужны центры обработки данных, которых тоже становится все больше. Их строят повсюду, причем не только на суше, но и на воде, в виде плавучих платформ. Есть даже подводные ЦОД, хотя они пока что работают в качестве тестовых объектов.

Все дата-центры объединяет одно — им нужны вода, электричество, сетевая инфраструктура и прочие ресурсы. Поэтому строить ЦОД можно далеко не везде. В некоторых случаях в качестве строительства выбирают места, где уже есть какие-то сооружения, их модифицируют и размещают внутри оборудование. Либо же комбинируют системы дата-центра с другими системами — например, заводов, фабрик, ферм. Вот о таких объектах сегодня и поговорим.
Читать дальше →
Всего голосов 28: ↑27 и ↓1+26
Просмотры4K
Комментарии 12

Кунг-фу стиля Linux: базы данных — это файловые системы нового уровня

Блог компании RUVDS.comНастройка LinuxСистемное администрирование*nixАдминистрирование баз данных
Перевод
Забавно наблюдать за тем, как компьютерные технологии, которые, в момент их появления, кажутся необычными, в итоге либо уходят в небытие, либо становятся привычными и распространёнными. Например, в своё время, если на компьютере имелось больше одного пользователя, это иначе как «хай-теком» и назвать было нельзя. Были ещё и разработки, которые не завоевали широкой популярности, вроде векторных дисплеев, или памяти, адресуемой содержимым. А вот использование в компьютерах накопителей данных, особенно — жёстких дисков — стало весьма распространённой практикой. Но было время, когда накопители данных были экзотическими устройствами, пользоваться которыми было далеко не так просто, как в наши дни.



Меня, если говорить о накопителях данных, удивляет то, что понятие «файловая система», в том виде, в котором мы его знаем, за годы его существования изменилось не слишком сильно. Конечно, если сравнить то, что есть сейчас, с тем, что было, скажем, в 1960-е годы, то можно сказать, что в наши дни файловые системы дают нам гораздо более широкий функционал, чем прежде. В наши дни всё гораздо лучше в плане скорости, способов кодирования, шифрования, сжатия данных и так далее. Однако фундаментальная природа того, как мы храним файлы, и того, как с ними работаем в компьютерных программах, практически не изменилась. А всё должно быть не так. Нам известны более эффективные способы организации данных, но по каким-то причинам большинство из нас не пользуется этими возможностями в своих программах. Оказывается, правда, что пользоваться ими достаточно просто, и я собираюсь это продемонстрировать на экспериментальном приложении, которое вполне может стать отправной точкой разработки базы данных электронных компонентов для моей лаборатории.
Читать дальше →
Всего голосов 25: ↑19 и ↓6+13
Просмотры9.3K
Комментарии 23

Еще 5 причин выбрать Apache Pulsar вместо Apache Kafka

Высокая производительностьOpen sourceIT-инфраструктураApacheРаспределённые системы
Перевод
Apache Kafka — крайне популярное в настоящий момент решение для обмена сообщениями. Тем более интересно посмотреть какие альтернативы для нее существуют. Особенно декларируемые, как более интересные по ряду параметров.

Под катом — перевод статьи-сравнения Apache Pulsar и Apache Kafka. Статья в некоторой степени рекламная, т.к. написана заинтересованным лицом, но как минимум, возбуждает интерес копнуть глубже. Поехали.

Переведено @middle_java
Читать дальше →
Всего голосов 8: ↑7 и ↓1+6
Просмотры4.7K
Комментарии 6

Как построить свой самолет со своим двигателем на сверхпроводниках и жидким азотом

ПрототипированиеНаучно-популярноеНанотехнологииИнженерные системы
Из песочницы

Подсказка: сделать все маленьким.

Вступление

Всем привет. По образованию я инженер по эксплуатации летательных аппаратов и авиационных двигателей, но в данной статье я опишу как сделал небольшой электродвигатель на сверх проводниках и поэтому мое вступление прошу принять как оправдание к тому, что в разработке и изготовлении электродвигателей я не обладаю достаточной компетенцией и опытом, но все-же я его сделал.

Читать далее
Всего голосов 135: ↑135 и ↓0+135
Просмотры14K
Комментарии 87

Межсетевой прокси: Доступ в Интернет, Tor, I2P и другие сети через Yggdrasil

Блог компании ITSOFTИнформационная безопасностьСетевые технологииСерверное администрированиеI2P
Tutorial

Путешествуя по обычному интернету мы не задумываемся над доменными зонами: ru, com, org и так далее, потому что все они открываются одинаково. Однако, настроив браузер для открытия сайта в сети I2P, вы не откроете onion-домен из сети Tor. Для этого нужно будет сменить настройки прокси-сервера. Поковырявшись с конфигами, вы сможете упростить эту задачу, но, если добавить сюда еще сеть Yggdrasil, тема сильно усложнится. Таким образом настройки вашего браузера будут неизменно усложняться, тем самым создавая поле для потенциальных утечек запросов с вашего настоящего IP-адреса на сомнительные ресурсы. И это при условии, что программы для доступа во все названные сети должны быть установлены на каждое из ваших устройств, где вы хотите ими пользоваться.

В этой статье рассмотрим настройку межсетевого прокси-сервера, который нужно настроить всего лишь один раз и затем использовать с любых устройств, переходя от сайта в одной сети на ресурс в другой скрытой сети вообще не задумываясь о дополнительных настройках браузера или чего-то еще.

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Просмотры3K
Комментарии 12

Мой опыт сотрудничества с искусственным интеллектом или как я создал свой первый сайт

IT-инфраструктураИскусственный интеллект
Из песочницы

Здравствуйте, уважаемые хаброЮзеры.Меня зовут Павел, я журналист и это моя первая статья на Хабр.Я являюсь фанатом разного рода технологий, и в особенности слежу за развитием области Искусственного Интеллекта (нейронок и всё что с этим связано). И спешу поделиться своим опытом сотрудничества с искусственным интеллектом.....

Интересно ?
Всего голосов 16: ↑6 и ↓10-4
Просмотры3.9K
Комментарии 36

Обработка больших данных: первые шаги в понимании Hadoop MapReduce и Spark

Блог компании LuxoftApacheBig DataHadoopData Engineering

Привет, Хабр!

Меня зовут Эмилия Межекова, я ETL-developer в компании Luxoft.

Я расскажу о своём опыте работе с Big Data и почему Spark лучше, чем Hadoop MapReduce в обработке данных. Big Data как концепт довольно понятна, но из-за того, что она включает в себя множество процессов, сложно сказать, с чего именно нужно начать изучение. Как хранятся файлы? Или как получать эти файлы? А может, сразу — как анализировать данные? Читайте подробнее под катом.

Читать далее
Всего голосов 11: ↑8 и ↓3+5
Просмотры2.9K
Комментарии 8

Облачная автоматизация применимо к RPA

Промышленное программированиеОблачные сервисыВизуальное программирование
Из песочницы

Облачные вычисления - это процесс выполнения рабочих нагрузок в облаках - ИТ-средах, которые абстрагируют, объединяют и совместно используют масштабируемые ресурсы в сети. Ни облачные вычисления, ни облака сами по себе не являются технологиями. И такое применение автоматизации не обошло RPA стороной.

Привет! Меня зовут Андрей и я являюсь руководителем направления RPA в компании NTT DATA Business Solutions. За время работы в разработке автоматизированных процессов у меня сложилось определенное понимаение о специфике автоматизиции труда программистов, а именно облачной автоматизации, о чем я бы хотел сегодня написать.

Многие компании видят и понимают необходимость во внедрении у себя роботизированной автоматизации процессов (RPA). И это логично, так как это позволит им повысить эффективность своей деятельности, вне зависимости от их глобальности, количества сотрудников или других определяющих факторов. И если по части разработки процесса на основании технологии RPA – вопросов возникает меньше, ведь зачастую среды разработки подобных процессов имеют инструменты визуального программирования, что помогает освоиться в новой технологии, то при внедрении промышленных проектов соответствующей технологии, возникает вопрос, а как это будет управляться, есть ли какие-то стандартизированные подходы для имплементации проекта RPA и еще целый пул организационных вопросов, которые не менее важны чем написание кода проекта.

В данной статье я приведу в пример распространённую платформу для автоматизации бизнес-решений – UiPath, облачное решение которой– Оркестратор, считается одной из лучших, и посмотрим, какие предложения по облачной автоматизации и управлению RPA- процессами она имеет.

Читать далее
Рейтинг0
Просмотры443
Комментарии 0

Почему it-аутсорсинг это выгодно и в чем его плюсы

Блог компании NixysСистемное администрированиеIT-инфраструктураDevOpsIT-компании

Друзья, а кто-нибудь задумывался о том, кто как выбирает себе компанию подрядчика или человека в команду для выполнения тех или иных работ со своей it-инфраструктурой? Вот у вас есть свой продукт, проект или может вы работаете в какой-то крупной компании, но так или иначе, если вы работаете в it-сфере, значит у вас есть своя инфраструктура за которой нужно следить. Для этого нужна команда, которая не только будет отвечать всем последним практикам в работе с этой инфраструктурой, но и обеспечивать соответствующий уровень ее поддержки, развития да и в целом будет находить баланс. Будет толкать бизнес вперед к развитию, обеспечивая для этого все нужные процессы.

Читать дальше →
Всего голосов 5: ↑3 и ↓2+1
Просмотры1.4K
Комментарии 5