Как стать автором
Обновить

Все потоки

Сначала показывать
Порог рейтинга

Как мы построили корпоративную шину данных на Kafka, которая обрабатывает до 3 млн сообщений в секунду

Блог компании Почтатех Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *IT-инфраструктура *Apache *

Привет! Меня зовут Иван Гаас, я руковожу автоматизацией процессов разработки в Почтатехе — компании, создающей цифровые продукты для Почты России.

Среднее количество сообщений, которые мы обрабатываем в Почте — от 500 тысяч до миллиона в секунду. В пики, когда наша big data прогоняет свои 25 петабайт данных — до 3 миллионов. При этом кластер Kafka состоит всего из 12 серверов в каждом из 3 дата-центров и справляется с этим.

C 2016 года мы в три раза увеличили количество новых цифровых сервисов. Корпоративная шина на Kafka помогла быстро масштабироваться: количество интеграций за последнее время упало с 1000 до 300 и теперь растёт незначительно. Если раньше интеграция сервиса растягивалась на месяцы, то теперь достаточно нескольких дней.

Я расскажу, как мы построили шину, которая обеспечивает такую производительность.

Читать дальше
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 605
Комментарии 1

Новости

Созвездие Дельфина — видео-лекция

Астрономия Научно-популярное


Друзья, делюсь с вами новой лекцией по астрономии. Быть может вы помните статью о созвездии Дельфина? Теперь эта статья — в доработанном и обогащенном иллюстрациями виде превратилась в познавательный видео-фильм. И он уже опубликован — на моем Youtube-канале «Вселенная и человек», посвященном моей научно-популяризаторской деятельности. Кстати, подпишитесь, пожалуйста, если еще не сделали этого.

В репертуаре канала «Вселенная и человек» уже присутствует немало интересных и познавательных видеороликов. Но фильм о Созвездии Дельфина, пожалуй, самый увлекательный — наиболее качественный, зрелый и протяженный — 25 минут отрыва от земных проблем, путешествие среди звезд одного из самых красивых созвездий.

Нет смысла пересказывать содержание, но я тезисно сообщу, что там внутри:

• история созвездия
• как найти на небе
• интересные объекты в созвездии
• легенды и мифы
• оригинальный саундтрек
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 65
Комментарии 0

IBM z16 — первый мейнфрейм IBM для искусственного интеллекта

Блог компании Timeweb Cloud Искусственный интеллект Процессоры

В прошлом веке предсказывали, что вся информация так или иначе будет храниться в облаке. Несмотря на продолжающийся переход к облаку, многие крупные мировые банки, страховые компании и телекоммуникационные гиганты полагаются на свои мейнфреймы. Большая часть этих мейнфреймов произведено в компании IBM.

В начале апреля 2022 года, IBM продемонстрировала новый мейнфрейм из линейки zz16, который спроектирован на базе микрочипа Telum, выпущенного летом 2021 г. Согласно IBM, процессор оптимизирован для обработки 300 000 000 000 финансовых транзакций в сутки. z16 устойчив к квантовым компьютерам, способным взламывать шифрование, благодаря криптографической решётке и аппаратному модулю безопасности Crypto Express 8S (CEX8S).

Основное предназначение нового мейнфрейма является предотвращение кибермошенничества в реальном времени. Целевые клиенты, в первую очередь, финансовые компании, но z16 будет полезен для всех, кто обрабатывает огромные потоки необходимых для бизнеса транзакций.


Читать дальше →
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 551
Комментарии 0

Топ вопросов работодателю от Android-разработчика

Блог компании HeadHunter Разработка мобильных приложений *Разработка под Android *Карьера в IT-индустрии

Представьте: вы на собеседовании, только что закончили отвечать на кучу вопросов и были на высоте. Наконец наступает ваш черед задавать ваши вопросы работодателю. Не знаю как вы, а я в таких ситуациях часто начинал теряться и забывал самое важное, о чем стоило бы спросить. Однако, собеседование – это двустороннее общение, а значит, не только работодатель собеседует вас, но и вы – работодателя. 

Меня зовут Костя, я – Android-техлид в hh.ru, и сегодня я расскажу об идеальных вопросах от Android-разработчика на собеседовании. Объясню, почему я выбрал именно эти вопросы, на что обращать внимание в ответах работодателя, а также отвечу на них так, как мы отвечаем нашим Android-соискателям. Эта статья будет полезна не только мобильным разработчикам, но и специалистам других направлений, которые проходят собеседования.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 1.2K
Комментарии 2

Модуль Black Pill как альтернатива бюджетным Led контроллерам T1000S, SP107 и т.п. для управления чипами WS2812B, APA102

Визуальное программирование *Программирование микроконтроллеров *Софт Электроника для начинающих
Продолжаю серию статей на тему использования цифровой светодиодной ленты с индивидуальным управлением пикселей.

Более 5ти лет мы занимаемся поставкой LED контроллеров для световых шоу с радио управлением. Сотни коллективов в различных уголках мира успешно используют наше железо и софт.


Компактность, отличная радио синхронизация, стабильный фреймрейт и адекватность ПО позволили создавать костюмы высокой детализации, применять самые смелые дизайнерские решения.


Но все же, большая часть аудитории пользуется недорогим китайским железом, в пределах $8-$15, для решения своих простых задач.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.1K
Комментарии 0

Linux LiveCD на базе CentOS и техники его использования в PXE-загрузке через Foreman

Блог компании HOSTKEY Хостинг Настройка Linux *Серверная оптимизация *Серверное администрирование *

Создатели дистрибутивов Linux предлагают пользователям пригодные для работы без установки образы операционных систем, однако универсальные сборки плохо подходят для задач хостинга. Рассказываем, как мы в HOSTKEY создали собственный LiveCD на основе CentOS и в итоге получили удобную управляемую систему сборки и доставки LiveCD.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 1.2K
Комментарии 0

Распространить сертификат в кратчайшие сроки среди станций Windows любой ценой

Системное администрирование *

В начале пандемии ’20 появилась задача - распространить корневой сертификат среди домашних персональных компьютеров, так как большое количество сотрудников стали работать по домам.

Сейчас прилетела задача распространить сертификат Минцифры.

В домене все понятно, добавил сертификат в политики GPO и поехали.

А как быть с локальными (домашними) станциями Windows?

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2.6K
Комментарии 10

Цифровой двойник — рецепты приготовления. Модельно-ориентированное проектирование системы электроснабжения самолета

Анализ и проектирование систем *CAD/CAM *Математика *Промышленное программирование *Matlab *

Стандарт цифровых двойников определяет цифровую модель изделия как “систему верифицированных и валидированных математических, компьютерных моделей и электронных документов изделия, описывающих поведение вновь разрабатываемого или эксплуатируемого изделия на различных стадиях жизненного цикла, использующую программные средства импорта и экспорта моделей и электронных документов, программные средства численного решения задач и компьютерного моделирования, а также визуализации”.

Другими словами, цифровой двойник — это не одна модель, а система моделей или набор моделей, каждая из которых предназначена для решения конкретных задач в рамках жизненного цикла изделия. Требования к конкретной модели определяются задачами, решаемыми с помощью данной модели.

В статье описан реальный опыт создания модели системы электроснабжения самолета (СЭС) в рамках реализации методов модельно-ориентированного проектирования в авиации.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 693
Комментарии 0

Bun: дружественный к SQL Golang ORM

Go *
Из песочницы

Bun это дружественный к SQL Golang ORM для PostgreSQL, MySQL/MariaDB, MSSQL, и SQLite. Данная статья призвана познакомить вас с базовыми возможностями этой ORM.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.4K
Комментарии 2

ИТ-книга от идеи до выпуска. Часть 1: работа с фриланс-художниками

Тестирование IT-систем *Профессиональная литература Фриланс Читальный зал

В конце прошлого года я выпустила свою первую книгу по тестированию — «Курс молодого бойца». Хочу поделиться опытом — как это было.

Рассказ свой я разбила на цикл статей. В этой статье я расскажу вам о том, как искала себе фриланс-художников. Какое тестовое давала, как его выполняли, и чего мы только не навидались за тот год :-)

Читать далее
Всего голосов 12: ↑9 и ↓3 +6
Просмотры 824
Комментарии 7

Незатейливое введение в управление знаниями (или нафига козе гармонь)

Промышленное программирование *

«Ты ошибаешься, милая! Нет ничего на свете, из чего нельзя было бы сделать вывод. Надо только знать, как взяться за дело» - Льюис Кэрролл «Алиса в стране чудес»

Пришла пора расставить все на свои места и показать, что управление знаниями совсем не сугубо декларативная, а вполне себе юзабильная штука.

И для начала постараемся разобраться в вопросе: а почему именно сейчас «управление знаниями» стало вполне себе хайповым понятием.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Просмотры 1.7K
Комментарии 4

Мобильная игра на HTML, CSS, JavaScript, jQuery, Apache Cordova и Firebase. Как сделать красиво снаружи и плохо внутри

CSS *JavaScript *jQuery *HTML *

В данной статье будет рассказана история одной мобильной игры разрабатываемой на HTML, CSS, JavaScript, jQuery, Apache Cordova и Firebase. Также будут освещены следующие вопросы:

- Стоит ли использовать jQuery?

- Стоит ли вообще разрабатывать мобильные игры на JS с нуля?

Читать далее
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 2.1K
Комментарии 1

8 мифов о микропроцессорах RISC-V — ответ критикам

Блог компании Selectel IT-инфраструктура *Компьютерное железо Процессоры
Перевод

Для начала хочу пояснить, почему я решил перевести этот текст Эрика Энгейма. На волне изменений в мире актуальным становится вопрос открытости программного и аппаратного обеспечения. И если с ПО ситуация относительно понятная — open source цветет, то в аппаратном обеспечении по-прежнему доминируют закрытые архитектуры CPU — x86, ARM, PowerPC и другие. Исходя из этого особенно интересно следить за одной из немногих открытых (и главное — живых) архитектур RISC-V.

В этой статье автор рассказывает, почему критика архитектуры RISC-V не очень оправдана. Он развинчивает 8 мифов вокруг нее и приходит к выводу в духе «хейтеры просто не умеют ее готовить». Если интересно, перевод классного текста под катом.

Похоливарить на тему RISC-V
Всего голосов 44: ↑42 и ↓2 +40
Просмотры 6K
Комментарии 3

Как отобрать у микроконтроллера QN902x его прошивку

Беспроводные технологии *C *Реверс-инжиниринг *Программирование микроконтроллеров *

Когда у меня появился умный чайник Xiaomi Mi Smart Kettle Pro - у меня возник тот же вопрос, что и у многих его пользователей: почему его нельзя включить удаленно? Чайник позволяет подключиться к нему через блютуз, задать температуру которую он будет поддерживать и еще пару незначительных параметров, но его невозможно удаленно включить, что нивелируют его ценность как компонента умного дома.

Читать далее
Всего голосов 46: ↑46 и ↓0 +46
Просмотры 4.9K
Комментарии 17

Дайджест событий для эйчаров и рекрутеров в IT в мае 2022

Блог компании Хабр Карьера Управление персоналом *Карьера в IT-индустрии

В этом году в мае 18 рабочих и 13 выходных дней, а значит — больше свободного времени. Если вы пока не придумали, чем занять месяц, то мы предлагаем вам целый набор курсов и митапов для обучения IT-рекрутменту. По традиции, под спойлером мы собрали полезные события для HR в любых сферах. Там вы найдете обучения для эффективной работы HR, планирования HR-бюджета, вебинар о проблемах онлайн-собеседований и многом другом. 

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 706
Комментарии 0

Оперативная аналитика данных. Knime & MongoDB

Блог компании Специальный Технологический Центр Data Mining *Big Data *Визуализация данных
Tutorial

В предыдущей статье я вкратце упомянул, что Knime умеет работать с базами данных, в том числе с NoSQL базой MongoDB. На мой взгляд, MongoDB является довольно простым и эффективным решением для хранения информации, представленной в виде коллекций документов, состоящих из различных наборов полей и, по сути, являющихся обычными JSON файлами. Мне показалась интересным попробовать связку Knime - MongoDB в действии. Именно этой связке и посвящена данная статья.

Читать далее
Рейтинг 0
Просмотры 585
Комментарии 0

Еще один вьювер сообщений (логов) для Dwarf Fortress

Разработка игр *Haskell *

Как то раз, решил поиграть в игру Dwarf Fortress, показалось очень интересно. Это несмотя на неудобное управление, которое возможно будет переделано в новой реинкарнации игры. Но речь о другом: взаимодействие с игроком сильно опирается на сообщения, которые появляются на отдельном экране и приходится постоянно делать переключения на него и обратно в игру.

В результате, решил сделать свой вариант вьювера сообщений. Так как основным языком программирования сейчас для меня является Haskell, то стал искать возможности сделать утилиту именно на нем.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.5K
Комментарии 2

Tarantool 2.10: сжимаем данные, шифруем трафик, помогаем расследовать инциденты

Блог компании VK Высокая производительность *Хранение данных *Tarantool *

В Tarantool 2.10 добавили новые инструменты как для Enterprise версии, так и для Community Edition. А еще мы запустили Tarantool по модели DBaaS в облаке VK Cloud Solutions. Далее подробно расскажем про главные обновления: шифрование соединений между репликами и клиентом, сжатие данных в памяти, расширенные возможности аудита и поделимся ссылкой на полный список изменений

Читать далее
Всего голосов 31: ↑31 и ↓0 +31
Просмотры 2.2K
Комментарии 2

Пентест VS Аудит безопасности

Информационная безопасность *

Мы часто сталкиваемся с ситуациями, когда заказчик (а часто бывает что и специалист по ИБ) не понимают разницы между тестированием на проникновение и аудитом ИБ. Поэтому сегодня мы поделимся своим опытом в области пентестов и аудитов безопасности. Также рассмотрим отличия между двумя понятиями.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 1.4K
Комментарии 1