Теперь место, где поставить новый банкомат, определяет система машинного обучения. Мы готовили её целый год: за 2-3 месяца сделали первое решение, а потом дорабатывали, оптимизировали и ждали новых данных по банкоматам, установленным уже с помощью системы. Под капотом я расскажу, как это происходило — и кто снимает много денег в безлюдных местах.
Новости
Почему современная документация к коду — просто мусор. И как это исправить
Когда вы в последний раз сталкивались с качественно документированным кодом?
С кодом, который можно было использовать буквально «из коробки», просто ознакомившись с небольшим README файлом. Но к которому в то же время прилагалась подробная документация, поясняющая каждую строчку: не только то, что она делает, но и почему она была написана именно так, а не иначе.
Давно ли вы встречали такой код? Неделю назад? Месяц? Год?
Лично мне посчастливилось увидеть такой код пару лет назад. И с тех пор я видел немало кода с… довольно грязной документацией.
Но разве можно винить в этом разработчиков?
Выгрузка HDFS FSImage в Hive для мониторинга и аналитики: руководство к действию
Привет, Хабр! Меня зовут Борис Мурашин, я системный архитектор развития платформы больших данных в Х5 Tech. В статье делюсь своим опытом работы с кластером Hadoop: рассказываю, как с помощью сторонней библиотеки мне удалось организовать оперативную выгрузку образа файловой системы HDFS в Hive. И не только про это. Надеюсь, что мои инструкции помогут другим сэкономить массу времени в работе с кластером.
Сколько места на диске используют таблицы Hive в HDFS? В каких из них много мелких файлов? Какая динамика у этих цифр? Что происходит в домашних каталогах пользователей? Кто прямо сейчас создаёт таблицу с партиционированием по timestamp и скоро «уложит» нэймноду по GC pause? Давайте разбираться.
Effector — убийца Redux? Туториал с нуля. Часть 1
Redux и MobX больше не нужны ?
Туториал для новичков по EffectorJS - современному и удобному стейт-менджеру. Рассмотрим основные возможности, работу ядра, и какие проблемы решает. На примерах.
Как и зачем создавалась одна из первых систем квантового распределения ключей в России
Экспертиза нашей компании традиционно лежала в теме «классической» криптографии, но свою первую статью в блоге мы хотим посвятить инновационной теме и разработкам, которыми особенно гордимся — квантовому распределению ключей и системам их доставки.
Настройка компьютера разработчика. PHP. Drupal. DDEV
Я PHP разработчик, решил поделиться с Хабром своим опытом в части того, как подготовить на своем компьютере окружение, чтобы можно было создавать сайты PHP. Будет пример для Drupal. Но Drupal или нет, даже не важно, подойдет для любого другого PHP проекта. Грамотная настройка компьютера для разработки поможет в дальнейшем не тратить время и нервы. Этим придется пользоваться каждый день, поэтому стоит уделить время и сделать все так, чтобы было удобно пользоваться.
А что вообще надо чтобы запустился PHP сайт?
Чем различаются Kafka и RabbitMQ: простыми словами
Программные брокеры сообщения уже стали стандартом при построении больших и сложных систем. Однако до сих пор не все ИТ-специалисты понимают, как работают эти инструменты. Главный системный аналитик «Иннотех» Павел Малыгин помогает разобраться в брокерах сообщениях и их работе.
Выход из плоскости. Тактильная графика и закоулки интеллекта
Уже очень давно я писал на Хабре статью о кипу – узелковом письме древних инков. В этой статье я упоминал, что Луи Брайлю удалось создать шрифт для слепых из-за стечения обстоятельств: Луи не был слеп от рождения, а утратил зрение, поранив себе глаз грязным шорным ножом, с которым неосторожно играл в отцовской мастерской. Вскоре из-за распространившейся инфекции Луи ослеп и на второй глаз, после чего попал в приют знаменитого педагога Валентина Гаюи, который уже не первым бился над разработкой шрифта для слепых. Но зрячий Гаюи не пошел дальше изготовления рельефных слепков латиницы, а слепой Брайль, представлявший, тем не менее, что такое «видеть», и что такое «текст», предложил принципиально иной шрифт, благодаря которому вошел в историю.
Впоследствии я задумывался, а возможны ли (и каким образом создаются) научные визуализации для слепых и слабовидящих. В своё время мне довелось перевести замечательную книгу «История науки в знаменитых изображениях» (в оригинале «Cosmic Imagery») – своеобразную энциклопедию, посвящённую иллюстративной, наглядной составляющей науки и культуры. Множество глав этой книги посвящено точным наукам, и она не оставляет сомнений, что без картинок и схем многие вещи слишком абстрактны и невообразимы для человека. Именно поэтому я собирался вернуться к данной теме и рассказать, какие «брайлевские» наработки сейчас существуют для имитации научной графики для незрячих.
Дэвид Кроненберг — психолог ужасов
Мало кто поспорит, что жанр хорроров как был, так и остаётся темой табуированной — те немногие работы, что по праву дорвались до признания как критиков, так и аудитории, а при этом ещё и кассу собрали, постфактум тихо меняют жанровую принадлежность на более массовые «триллеры» и «боевики». «Молчание ягнят» или «Экзорцист» тому пример. И, тем не менее, жанр этот стоял у истоков кинематографа, и будет существовать до его конца, ибо человек всегда будет чего-то бояться, а творчество — один из наиболее действенных способов преодоления страха как для автора, так и для зрителя.
Есть именитые режиссёры, которые пробовали свои силы в этом жанре в тот или иной момент своей карьеры (Питер Джексон начинал с треш-хорроров, а Тарантино как-то раз объединился с давними друзьями Робертом Родригесом и Элаем Ротом для создания фарсовой дилогии «Грайндхайус»). Есть же те, кто с первых опытов в киноиндустрии зарекомендовал себя мастером конвенциональных «ужастиков» и таковым остался (как вечно старый Джон Карпентер). Но каково это — на протяжении уже пятидесяти лет завораживать зрителя бесконечным насилием, оставаясь на своём пути тонким философом и предвестником новых тревог и страхов? Канадец Дэвид Кроненберг, а точнее его разношёрстная фильмография, попытается дать ответ на этот вопрос.
Что о системном анализе и бизнес-анализе можно будет узнать на Flow
Мы уже рассказывали на Хабре, чего в целом ждать от нашей новой конференции Flow. А теперь пришло время рассказать конкретнее: программа готова, поэтому делимся описаниями всех докладов.
Если захочется узнать больше подробностей (например, точное расписание) или приобрести билеты, всё это есть на сайте.
Байкальские губки – биоиндикаторы загрязнения озера тяжелыми металлами
Ученые Объединенного института ядерных исследований (ОИЯИ, г. Дубна) совместно со специалистами из Лимнологического института СО РАН (ЛИН СО РАН, г. Иркутск) и Бухарестского университета (Румыния) изучили элементный состав байкальских губок, собранных в местах с разной антропогенной нагрузкой. Оказалось, что губки успешно могут применяться в качестве биоиндикаторов загрязнения озера Байкал токсичными элементами. Результаты исследований были опубликованы в журнале Marine Pollution Bulletin.
Интеллектуально-гастрономическая аналитика или как испечь тыквенный пирог с аналитической системой
Привет Хабр! Меня зовут Алексей. Вот уже несколько лет работаю аналитиком компании «Мегапьютер». Создаю проекты, анализирую огромные пласты информации, обрабатываю отзывы о продукте, компании, с внешних источников, автоматизирую поиск и обработку данных по заданным критериям внутри компании, повышаю качество клиентского обслуживания за счет автоматизации анализа текстовых данных, мониторю качество обслуживания клиентов банка, делаю аналитику данных для ритейла, а это и автоматизация управления поставками, запасами, мониторинг работы кассиров, прогнозирование товарооборота. В общем работы очень много и я устаю и готовить совсем некогда, но я нашел решение проблемы…. А что, если приятное соединить с полезным и провел аналитику по рецептам простых блюд…ну для холостяков 😊 с помощью с моей рабочей системы PolyAnalyst.
Данные я взял с сайта с рецептами eda.ru воспользовавшись внутренним парсером сайтов.
Извлечение происходило по разделам, было получено следующее количество рецептов:
Spring. Экспертное мнение о плюсах и минусах самого популярного Java-фреймворка
Spring является самым популярным инструментом при разработке промышленных приложений на Java — от больших монолитных приложений до микросервисов. Сразу стоит отметить, что под термином Spring мы понимаем не столько Spring Framework, сколько экосистему и Spring Boot. Всё, что позволяет нам «легко и непринужденно» использовать самые распространенные библиотеки из мира Java, зачастую даже не разбираясь в их настройках (всё настроено уже за нас).
Мы попросили Ильназа Гильязова, Java-разработчика с большим опытом, разобрать ключевые плюсы, минусы, проблемы и риски использования Spring, а также возможные альтернативы.
Истории
Поиск жизни в космосе: как, зачем и к чему может привести
4 октября 1957 года в 22:28 по московскому времени мир изменился навсегда. В ту ночь многие жители Земли могли видеть в ясном небе необычный след, а миллионы радиолюбителей в СССР прильнули к радиоприёмникам, с замиранием сердца слушая сигналы «БИП, БИП, БИП» на частоте 40 МГц.
То был запуск первого в истории искусственного спутника ПС-1. Событие стало эпохальным: СССР получал единодушные поздравления из всех стран мира. Словно бы человечество на миг объединилось, и не было социализма и капитализма, дипломатических конфликтов и военных альянсов.
Дальше американцы, разумеется, осознали, что начинается новая гонка — на этот раз космическая. И в 1958 году правительство США создало National Aeronautics and Space Administration — сокращённо NASA. Но пока человечество соревновалось, кто первым выйдет в открытый космос (Леонов) или высадится на Луне (Армстронг), почти у всех возникал вопрос: если мы мечтаем о космических путешествиях и колонизации неизвестных планет, то может быть, мы всё-таки не одиноки во Вселенной? И где-то в сотнях световых лет есть и другие цивилизации, которые уже научились путешествовать и ищут нас?
Давайте посмотрим в статье, что человечество уже предпринимало для обнаружения внеземных форм жизни, что из этого получилось и пофантазируем, что будет, если мы всё-таки найдём инопланетян.
Как команда отразила крупную DDoS-атаку на инфраструктуру клиента
Привет, Хабр! В сентябре команда #CloudMTS отразила масштабную DDoS-атаку на клиентов одного из наших коммерческих дата-центров в Москве. На пике мы зафиксировали 30 млн flows per second, что для данной площадки в 300 раз превышало привычные значения. Атака длилась несколько дней подряд, в ходе которых злоумышленники использовали комбинацию из трех распространенных видов DDoS-атак и информацию из общедоступной базы данных IP-адресов. Для тех, кто хочет узнать, как все было – добро пожаловать под кат.
Кря-кря на день программиста: вспоминаем универсальный метод решения проблемных задач
Привет, Хабр! Недавно мы проводили конкурс компьютерных историй на Пикабу, а также при поддержке Ростелекома дарили участникам мероприятия утят. В этом посте я хочу рассказать, как это было и поделиться историями участников, а также поговорить о том, насколько важен утенок в работе айтишника.
Любите кря-кря? Давайте под кат.
Фронтенд на Go с использованием библиотеки RUI
Изначально библиотека RUI разработана для создания клиент-серверных веб приложений на языке go, где вся обработка осуществляется на сервере, а браузер используется только как тонкий клиент.
Однако в последней версии библиотеки (0.10.0) была добавлена поддержка технологии WebAssembly. Теперь стало возможным объединить серверную и клиентскую часть в единый модуль исполняемый в браузере. При этом требуются минимальные изменения в уже существующем проекте использующем библиотеку RUI
В этой статье я покажу как переделать уже существующий проект чтобы его можно было скомпилировать в wasm модуль и запустить его в браузере
Введение в триангуляцию
Когда возникла необходимость понять, что из себя представляет триангуляции (не визуализация поверхности, а реконструкция), к моему удивление найти удалось не так много материалов. После изучения темы было решено собрать все, что мне удалось накопать, в одну статью, в надежде, что кому-то это может пригодится и поможет в будущем.
Миниатюрные гимнасты: динамика прыгающих ногохвостиков
Самым банальным, хоть и вполне логичным отличием живого от неживого является движение. В первом случае движение в той или иной степени осуществляется самостоятельно, а во втором — только за счет влияния внешних сил. Бег гепарда или рост дерева — это динамика, которая контролируется ими самими, а вот камень сдвинется с места, только если кто-то его сдвинет. Динамика движений различных систем, будь то биологическая или механическая, позволяют не только понять эти системы, но воссоздать их в более реалистичном виде. Это особенно важно для робототехников, которые из года в год создают то роботизированных собак, то роботизированных рыб. Естественно, главным источником вдохновения для таких разработок является природа. И если динамика движения собаки или рыбы может быть довольно проста для понимания и моделирования, то некоторые существа заставляют ученых задуматься. Это высказывание применимо и к ногохвостикам, которые способны выполнять умопомрачительные акробатические этюды с невероятной скоростью и точностью. Ученые из Технологического института Джорджии (США) решили изучить динамику прыжков ногохвостиков. Эти миниатюрные создания способны прыгнуть с поверхности воды, сделать сальто в воздухе и приземлиться на лапки. За счет чего ногохвостики так здорово прыгают, какова динамика их прыжков, и как понимание этого можно применить на практике? Ответы на эти вопросы мы получим из доклада ученых.