Как стать автором
Обновить

Разработка

Сначала показывать
Порог рейтинга

Как мы построили корпоративную шину данных на Kafka, которая обрабатывает до 3 млн сообщений в секунду

Блог компании Почтатех Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *IT-инфраструктура *Apache *

Привет! Меня зовут Иван Гаас, я руковожу автоматизацией процессов разработки в Почтатехе — компании, создающей цифровые продукты для Почты России.

Среднее количество сообщений, которые мы обрабатываем в Почте — от 500 тысяч до миллиона в секунду. В пики, когда наша big data прогоняет свои 25 петабайт данных — до 3 миллионов. При этом кластер Kafka состоит всего из 12 серверов в каждом из 3 дата-центров и справляется с этим.

C 2016 года мы в три раза увеличили количество новых цифровых сервисов. Корпоративная шина на Kafka помогла быстро масштабироваться: количество интеграций за последнее время упало с 1000 до 300 и теперь растёт незначительно. Если раньше интеграция сервиса растягивалась на месяцы, то теперь достаточно нескольких дней.

Я расскажу, как мы построили шину, которая обеспечивает такую производительность.

Читать дальше
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 605
Комментарии 1

Новости

Топ вопросов работодателю от Android-разработчика

Блог компании HeadHunter Разработка мобильных приложений *Разработка под Android *Карьера в IT-индустрии

Представьте: вы на собеседовании, только что закончили отвечать на кучу вопросов и были на высоте. Наконец наступает ваш черед задавать ваши вопросы работодателю. Не знаю как вы, а я в таких ситуациях часто начинал теряться и забывал самое важное, о чем стоило бы спросить. Однако, собеседование – это двустороннее общение, а значит, не только работодатель собеседует вас, но и вы – работодателя. 

Меня зовут Костя, я – Android-техлид в hh.ru, и сегодня я расскажу об идеальных вопросах от Android-разработчика на собеседовании. Объясню, почему я выбрал именно эти вопросы, на что обращать внимание в ответах работодателя, а также отвечу на них так, как мы отвечаем нашим Android-соискателям. Эта статья будет полезна не только мобильным разработчикам, но и специалистам других направлений, которые проходят собеседования.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 1.2K
Комментарии 2

Модуль Black Pill как альтернатива бюджетным Led контроллерам T1000S, SP107 и т.п. для управления чипами WS2812B, APA102

Визуальное программирование *Программирование микроконтроллеров *Софт Электроника для начинающих
Продолжаю серию статей на тему использования цифровой светодиодной ленты с индивидуальным управлением пикселей.

Более 5ти лет мы занимаемся поставкой LED контроллеров для световых шоу с радио управлением. Сотни коллективов в различных уголках мира успешно используют наше железо и софт.


Компактность, отличная радио синхронизация, стабильный фреймрейт и адекватность ПО позволили создавать костюмы высокой детализации, применять самые смелые дизайнерские решения.


Но все же, большая часть аудитории пользуется недорогим китайским железом, в пределах $8-$15, для решения своих простых задач.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.1K
Комментарии 0

Цифровой двойник — рецепты приготовления. Модельно-ориентированное проектирование системы электроснабжения самолета

Анализ и проектирование систем *CAD/CAM *Математика *Промышленное программирование *Matlab *

Стандарт цифровых двойников определяет цифровую модель изделия как “систему верифицированных и валидированных математических, компьютерных моделей и электронных документов изделия, описывающих поведение вновь разрабатываемого или эксплуатируемого изделия на различных стадиях жизненного цикла, использующую программные средства импорта и экспорта моделей и электронных документов, программные средства численного решения задач и компьютерного моделирования, а также визуализации”.

Другими словами, цифровой двойник — это не одна модель, а система моделей или набор моделей, каждая из которых предназначена для решения конкретных задач в рамках жизненного цикла изделия. Требования к конкретной модели определяются задачами, решаемыми с помощью данной модели.

В статье описан реальный опыт создания модели системы электроснабжения самолета (СЭС) в рамках реализации методов модельно-ориентированного проектирования в авиации.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 693
Комментарии 0

Bun: дружественный к SQL Golang ORM

Go *
Из песочницы

Bun это дружественный к SQL Golang ORM для PostgreSQL, MySQL/MariaDB, MSSQL, и SQLite. Данная статья призвана познакомить вас с базовыми возможностями этой ORM.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.4K
Комментарии 2

ИТ-книга от идеи до выпуска. Часть 1: работа с фриланс-художниками

Тестирование IT-систем *Профессиональная литература Фриланс Читальный зал

В конце прошлого года я выпустила свою первую книгу по тестированию — «Курс молодого бойца». Хочу поделиться опытом — как это было.

Рассказ свой я разбила на цикл статей. В этой статье я расскажу вам о том, как искала себе фриланс-художников. Какое тестовое давала, как его выполняли, и чего мы только не навидались за тот год :-)

Читать далее
Всего голосов 12: ↑9 и ↓3 +6
Просмотры 824
Комментарии 7

Незатейливое введение в управление знаниями (или нафига козе гармонь)

Промышленное программирование *

«Ты ошибаешься, милая! Нет ничего на свете, из чего нельзя было бы сделать вывод. Надо только знать, как взяться за дело» - Льюис Кэрролл «Алиса в стране чудес»

Пришла пора расставить все на свои места и показать, что управление знаниями совсем не сугубо декларативная, а вполне себе юзабильная штука.

И для начала постараемся разобраться в вопросе: а почему именно сейчас «управление знаниями» стало вполне себе хайповым понятием.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Просмотры 1.7K
Комментарии 4

Мобильная игра на HTML, CSS, JavaScript, jQuery, Apache Cordova и Firebase. Как сделать красиво снаружи и плохо внутри

CSS *JavaScript *jQuery *HTML *

В данной статье будет рассказана история одной мобильной игры разрабатываемой на HTML, CSS, JavaScript, jQuery, Apache Cordova и Firebase. Также будут освещены следующие вопросы:

- Стоит ли использовать jQuery?

- Стоит ли вообще разрабатывать мобильные игры на JS с нуля?

Читать далее
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 2.1K
Комментарии 1

Как отобрать у микроконтроллера QN902x его прошивку

Беспроводные технологии *C *Реверс-инжиниринг *Программирование микроконтроллеров *

Когда у меня появился умный чайник Xiaomi Mi Smart Kettle Pro - у меня возник тот же вопрос, что и у многих его пользователей: почему его нельзя включить удаленно? Чайник позволяет подключиться к нему через блютуз, задать температуру которую он будет поддерживать и еще пару незначительных параметров, но его невозможно удаленно включить, что нивелируют его ценность как компонента умного дома.

Читать далее
Всего голосов 46: ↑46 и ↓0 +46
Просмотры 4.9K
Комментарии 17

Оперативная аналитика данных. Knime & MongoDB

Блог компании Специальный Технологический Центр Data Mining *Big Data *Визуализация данных
Tutorial

В предыдущей статье я вкратце упомянул, что Knime умеет работать с базами данных, в том числе с NoSQL базой MongoDB. На мой взгляд, MongoDB является довольно простым и эффективным решением для хранения информации, представленной в виде коллекций документов, состоящих из различных наборов полей и, по сути, являющихся обычными JSON файлами. Мне показалась интересным попробовать связку Knime - MongoDB в действии. Именно этой связке и посвящена данная статья.

Читать далее
Рейтинг 0
Просмотры 585
Комментарии 0

Еще один вьювер сообщений (логов) для Dwarf Fortress

Разработка игр *Haskell *

Как то раз, решил поиграть в игру Dwarf Fortress, показалось очень интересно. Это несмотя на неудобное управление, которое возможно будет переделано в новой реинкарнации игры. Но речь о другом: взаимодействие с игроком сильно опирается на сообщения, которые появляются на отдельном экране и приходится постоянно делать переключения на него и обратно в игру.

В результате, решил сделать свой вариант вьювера сообщений. Так как основным языком программирования сейчас для меня является Haskell, то стал искать возможности сделать утилиту именно на нем.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.5K
Комментарии 3

Tarantool 2.10: сжимаем данные, шифруем трафик, помогаем расследовать инциденты

Блог компании VK Высокая производительность *Хранение данных *Tarantool *

В Tarantool 2.10 добавили новые инструменты как для Enterprise версии, так и для Community Edition. А еще мы запустили Tarantool по модели DBaaS в облаке VK Cloud Solutions. Далее подробно расскажем про главные обновления: шифрование соединений между репликами и клиентом, сжатие данных в памяти, расширенные возможности аудита и поделимся ссылкой на полный список изменений

Читать далее
Всего голосов 31: ↑31 и ↓0 +31
Просмотры 2.2K
Комментарии 2

Пентест VS Аудит безопасности

Информационная безопасность *

Мы часто сталкиваемся с ситуациями, когда заказчик (а часто бывает что и специалист по ИБ) не понимают разницы между тестированием на проникновение и аудитом ИБ. Поэтому сегодня мы поделимся своим опытом в области пентестов и аудитов безопасности. Также рассмотрим отличия между двумя понятиями.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 1.4K
Комментарии 1

Асинхронное взаимодействие Spring-микросервисов с помощью Kafka

Блог компании OTUS Программирование *Java *
Перевод

В этой статье разберемся, как реализовать обмен сообщениями между Java-микросервисами на Spring с помощью Kafka.

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Просмотры 1.5K
Комментарии 2

ML-модели VS осложнения при бурении нефтяных скважин

Блог компании Цифра Data Mining *Машинное обучение *IT-компании

Всем привет. Меня зовут Семён. Я занимаюсь разработкой интеллектуальных приложений для нефтегазовой отрасли в компании «Цифра». В этой статье я и моя коллега Анна Тарасова расскажем, как мы искали решение для проблемы с прихватами при бурении нефтяных скважин с помощью машинного обучения и к чему в результате пришли.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 798
Комментарии 0

Руководство по NestJS. Часть 1

Блог компании Timeweb Cloud Разработка веб-сайтов *JavaScript *Node.JS *TypeScript *



Привет, друзья!


В этой серии из 3 статей я расскажу вам о Nest (NestJS) — фреймворке для разработки эффективных и масштабируемых серверных приложений на Node.js. Данный фреймворк использует прогрессивный (что означает текущую версию ECMAScript) JavaScript с полной поддержкой TypeScript (использование TypeScript является опциональным) и сочетает в себе элементы объектно-ориентированного, функционального и реактивного функционального программирования.


Под капотом Nest использует Express (по умолчанию), но также позволяет использовать Fastify.



В первой статье рассматриваются основы работы с Nest, во второй — некоторые продвинутые возможности, предоставляемые этим фреймворком, в третьей — приводится пример разработки простого React/Nest/TypeScript-приложения.


При рассказе о Nest я буду в основном придерживаться структуры и содержания официальной документации.


Это первая часть руководства.

Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 1.6K
Комментарии 0

Работа с docx c помощью bayoo-docx

Python *Программирование *

Нужно найти в docx-файле определенный фрагмент и оставить к нему комментарий? bayoo-docx (форк python-docx) умеет это! В конце статьи в виде бонуса расскажем, как определить номер страницы. 😊

Долгое время в библиотеке python-docx отсутствовала возможность добавления комментариев к word-файлам «из коробки». Созданное еще в 2014 году обсуждение в репозитории python-docx о том, как добавлять комментарии, было довольно активным, но не было найдено решений без прямого вмешательства в xml-разметку. Однако в 2020 году появился форк от python-docx – bayoo-docx, позволяющий добавлять комментарии быстро и легко.

Начнем с установки bayoo-docx:

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 1.1K
Комментарии 0

Десять уроков от математика Джан-Карло Рота, которые он сам хотел бы усвоить

Блог компании МойОфис Математика *Учебный процесс в IT Читальный зал
Перевод

Сегодня, 27 апреля, могло бы исполниться 90 лет Джан-Карло Рота* — итальянскому математику и философу, выдающемуся специалисту в области комбинаторики и основателю ежегодного издания Advances in Mathematics. Имя Рота и результаты его трудов (главным из них стали «Основы комбинаторики» — серия из десяти работ) хорошо знакомы не только в академических кругах, но и многим ИТ-специалистам. В том числе сотрудникам департамента разработки МойОфис.

Вместе с коллегами мы перевели лекцию, которую Джан-Карло Рота прочитал в апреле 1996 года в Кембридже. Позже лекция была опубликована в виде статьи и перепечатана с разрешения издательства Birkhauser Boston в 1997 году журналом Notices of the American Mathematical Society. Под катом вы найдете ее полный текст. Изложенные в ней советы ориентированы не только на математиков и будут полезны всем, кто время от времени участвует в обмене специальными знаниями. А именно: читает лекции, проводит мастер-классы, публикует доклады и исследования.

*Обращаем ваше внимание, что позиция автора не всегда может совпадать с мнением МойОфис.

Читать далее
Всего голосов 22: ↑20 и ↓2 +18
Просмотры 3.6K
Комментарии 6

Всегда под рукой: настольные справочники по работе с Linux для начинающих сисадминов (и не только)

Блог компании T1 Cloud Open source *Системное администрирование **nix *Профессиональная литература

Мы в T1 Cloud запускаем серию публикаций для ИТ-специалистов. Начнем с компактного дайджеста книг по администрированию Linux. В подборку вошли новые материалы, уже успевшие «промелькнуть» на профильных площадках, а также литература, которая только готовится к релизу.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 4.4K
Комментарии 4