Как стать автором
Обновить
150.45
Рейтинг

Высокая производительность *

Методы получения высокой производительности систем

Сначала показывать
Порог рейтинга

Что такое MLOps? Самый подробный текст про работу с ML-системами, который вы найдете в интернете

Блог компании Selectel Высокая производительность *IT-инфраструктура *Машинное обучение *DevOps *


В этом материале мы подробно разбираем концепцию MLOps. Более того, делаем это тремя способами. Сначала теоретически — через самую толковую, на наш взгляд, схему MLOps. Затем — концептуально, через артефакты, которые заложены в подходе. И наконец, через понимание MLOps как информационной системы.

Сохраняйте текст в закладки, потому что на данный момент это, возможно, самое полное описание MLOps на русском языке (и не перевод очередной англоязычной статьи!). Подарим мерч Selectel тому, кто пришлет ссылку на более развернутое описание концепции в комментариях.
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 2.5K
Комментарии 2

Новости

Как запускать RabbitMQ в Docker

Блог компании Southbridge Высокая производительность *Системное администрирование *Программирование *IT-инфраструктура *

Алексей Барабанов, IT-директор «Хлебница» и спикер курса «RabbitMQ для админов и разработчиков», подготовил конспект, который поможет научиться запускать и настраивать RabbitMQ в Docker. Вы поймёте, как конфигурировать параметры запуска, а также узнаете о возможностях управления через веб-интерфейс.

Читать далее
Всего голосов 25: ↑23 и ↓2 +21
Просмотры 2.4K
Комментарии 5

Как индекс производительности APDEX для онлайн-мониторинга ИТ-продуктов помогает цифровизации стройотрасли

Блог компании ДОМ.РФ Высокая производительность * *

Привет, Хабр! На связи Денис Киров, руководитель отдела тестирования компании «Цифровые Технологии» — мы отвечаем за качество продуктов Единой информационной системы жилищного строительства (ЕИСЖС), занимаемся функциональным тестированием, автоматизацией функционального тестирования и тестированием производительности информационных систем.

В современном конкурентном мире компании, разрабатывающие программные продукты, активно работают над повышением качества и стабильности работы информационных систем. Эта статья посвящена одному из вариантов контроля качества производительности информационных систем — мониторингу APDEX. Его основная цель — получение реальных данных о быстродействии системы глазами пользователя. Мы расскажем о методологии внедрения механизма мониторинга для портала наш.дом.рф.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 274
Комментарии 0

Могут ли десктопные видеокарты сравниться с серверными? Исследуем бенчмарки GPU от NVIDIA

Блог компании Selectel Высокая производительность *Работа с видео *Видеокарты

В этом материале мы рассмотрим несколько профессиональных видеокарт NVIDIA, а также расскажем, в чем разница с их десктопными «аналогами». Поговорим о производительности, бюджетном тестировании и о том, как подобрать GPU под свой проект, чтобы не переплачивать.
Читать дальше →
Всего голосов 48: ↑46 и ↓2 +44
Просмотры 6.8K
Комментарии 15

Пакетная операция JDBC — команда batchUpdate

Высокая производительность *Администрирование баз данных *
Tutorial

Всем привет! Данная статья будет полезна начинающим разработчикам на Java, для понимания работы пакетных операции и команды batchUpdate и на сколько она эффективнее по производительности в сравнении с update. Поехали!

Вначале немного теории:

С официальной документации:

Читать далее
Всего голосов 4: ↑1 и ↓3 -2
Просмотры 656
Комментарии 0

Фронтендерская история

Высокая производительность *Разработка веб-сайтов *JavaScript *Node.JS *

На календаре декабрь и только мы отошли от рекламы скидок черной пятницы, понедельника, вторника из каждого утюга как тут же стали свидетелями заполонения ленты наших любимых социальных сетей картинками и кодом сгенерированными нейронными сетями.

Прогресс в этой области действительно поражает. От галлюциногенных картинок DeepDream до шедевров от Stable Diffusion прошло каких-то 8 лет. И ведь это не единственный лидер сейчас. Здесь же мы имеем Midjorney, Imagen, Dalle, Kandinsky в конце концов. И знаете, мне это что-то напоминает.

Что это напоминает?
Всего голосов 17: ↑16 и ↓1 +15
Просмотры 3.6K
Комментарии 13

Полиморфные структуры данных и производительность

Высокая производительность *Ненормальное программирование *Open source *Программирование *C++ *

Обзор существующих проблем, а также способов их решения и интересных контейнеров, позволяющих значительно увеличить удобство и производительность полиморфного кода.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 3.4K
Комментарии 45

Улучшенный benchstat для оптимизирующих гоферов

Высокая производительность *Программирование *Go *

Привет!


Если вы писали бенчмарки и пытались понять, что там ускорилось и на сколько, то наверняка вы пользовались утилитами вроде benchstat.


Мне очень нравится эта утилита, но временами я понимаю, что некоторые её особенности работают против меня. Сегодня я расскажу вам о своей обёртке над benchstat, которая добавляет улучшения, полезные в моей работе.


Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 1.1K
Комментарии 0

Приглашаем на Ozon Tech Community Platform Meetup

Блог компании Ozon Tech Высокая производительность *IT-инфраструктура *Конференции Микросервисы *

UPD: приложили записи докладов

Привет, Хабр!

Меня зовут Миша Кабищев, я руковожу направлением базовых сервисов в платформе Ozon.

Платформа в Ozon – это разработка для разработки, мы снабжаем инженеров библиотеками, фреймворками и подходами, которые решают их повседневные проблемы - быстрый старт нового сервиса, работа с очередями и базами данных, балансировка нагрузки, рейт лимитинг, circuit-breaking и многое другое. Одним словом, мы упрощаем жизнь коллег, чтобы Time to market сокращался, и пользователи получали больше новых фич без потери качества.

Приглашаю в гости на открытый Ozon Tech Сommunity Platform Meetup, который состоится 8 декабря в 18:00 в Алматы. Онлайн формат тоже будет.

Хочу подробности
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 865
Комментарии 4

RabbitMQ: терминология и базовые сущности

Блог компании Southbridge Высокая производительность *Системное администрирование *Программирование *IT-инфраструктура *

При работе с инструментом важно знать теоретические основы. Во-первых, вам будет значительно проще искать ответы на вопросы в Google и понимать официальную документацию. Во-вторых, при обращении в профильные чаты вы будете называть вещи своими именами, что позволит быстрее получить ответ (или вообще получить его: если ваши слова и термины будут непонятны другим, вряд ли они смогут ответить вопрос). 

Алексей Барабанов, IT-директор «Хлебница» и спикер курса «RabbitMQ для админов и разработчиков», подготовил конспект, который поможет понять терминологию и базовые сущности RabbitMQ.

Читать далее
Всего голосов 39: ↑37 и ↓2 +35
Просмотры 11K
Комментарии 5

PostgreSQL Antipatterns: простой(?) INSERT… VALUES

Блог компании Тензор Высокая производительность *PostgreSQL *SQL *Администрирование баз данных *

Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например, (ID организации, ID сотрудника).

Как больно наступить на грабли в совсем простом, казалось бы, запросе?

Читать далее
Всего голосов 42: ↑38 и ↓4 +34
Просмотры 11K
Комментарии 32

Неблокирующий повтор (retry) в Java и проект Loom

Высокая производительность *Java *Параллельное программирование *

Неблокирующий повтор (retry) в Java и проект Loom


Введение


Повтор (retry) операции является старейшим механизмом обеспечения надежности программного обеспечения. Мы используем повторы при выполнении HTTP запросов, запросов к базам данных, отсылке электронной почты и проч. и проч.

Читать дальше →
Всего голосов 17: ↑16 и ↓1 +15
Просмотры 3.8K
Комментарии 15

Каким должен быть Feature Store, чтобы оптимизировать работу с ML-моделями

Блог компании Selectel Высокая производительность *Машинное обучение *Искусственный интеллект

В работе с данными для обучения нейросетей много рутины: под каждую ML-модель нужно создать датасет, потом «вычеркнуть» лишние признаки (фичи) и протестировать точность предсказаний. Иногда при изменении датасета нужно собирать данные по новой. Это неудобно, если нужно переиспользовать уже собранные фичи для обучения новых моделей. Чтобы оптимизировать работу с данными, ML-инженеры объединили разные практики и сформировали парадигму Feature Store.

По мотивам выступления Артёма Глазкова (@Allront), ведущего эксперта MLOps в Polymatica, рассказываем о том, что нужно бизнесу от Feature Store сегодня, и разбираем архитектуру «эталонного» решения. Подробности под катом.
Читать дальше →
Всего голосов 41: ↑41 и ↓0 +41
Просмотры 1.8K
Комментарии 1

Пишем кастомные CUDA-ядра на Triton

Блог компании Timeweb Cloud Высокая производительность *Программирование *GPGPU *
Перевод
image

Triton – это языковой компилятор для создания сильно оптимизированных ядер CUDA. Здесь будут изложены основы программирования для GPU и рассказано, как для этой цели используется Triton.

Учитывая нынешний успех глубокого обучения и вал исследовательских статей на эту тему, часто возникает такая ситуация: рождается какая-нибудь новая идея, и выясняется, что для нее не поддерживается аппаратное ускорение. Точнее, стоит вам изобрести новую функцию активации или механизм самовнимания – нам сразу приходится прибегать к возможностям PyTorch/Tensorflow для обработки прямого и обратного прохода через модуль.

В таких случаях применим, например, PyTorch JIT. Но PyTorch JIT – это высокоуровневый компилятор, способный оптимизировать лишь некоторые части кода, но непригодный для написания специализированных ядер CUDA.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 2.6K
Комментарии 2

Истории

Военные суперкомпьютеры и научные роты: сведения из первых рук

Высокая производительность *Конференции Суперкомпьютеры

Через два дня, 29 ноября 2022 года, в городе Переславле открывается XI Национальный Суперкомпьютерный Форум. Он ежегодно проходит на базе Института программных систем РАН. Вы можете принять участие очно, через Zoom или послушать трансляцию докладов.

Год назад на Форуме прозвучал маленький доклад о военном IT и военных суперкомпьютерах. Выступали Николай Владимирович Перфилов и Василий Иванович Мишин из ЦНИИ-12 Министерства обороны. Их институт работает на окраине города Сергиев Посад, их доклад прозвучал 2 декабря 2021 года.

Читать далее
Всего голосов 63: ↑29 и ↓34 -5
Просмотры 10K
Комментарии 38

Многопоточность на фронте: абсурд или прекрасное архитектурное решение?

Высокая производительность *Разработка веб-сайтов *Программирование *GitHub *Браузеры
Из песочницы

Веб-сайты уже давно перестали напоминать простые листы с текстовой информацией. Сейчас это полнофункциональные приложения, порой с очень сложной и тяжелой логикой. А чем больше логики и чем сложнее она становится, тем сильнее сайт начинает замедляться, что, естественно, не нравится пользователям. Сейчас это решают разными способами, например с помощью ленивой подгрузки, а более рисковые пробуют применять микрофронты или виджетные системы. Однако есть еще один вектор, на который пока никто не обращает внимания: использование многопоточности в браузере.

Практически во всех областях IT-разработки весь мир перешел на использование многопоточности: мобильные приложения, бэкенд, прикладное программирование. И даже процессоры развиваются в сторону увеличения количества ядер. Но на фронте многопоточность используют нечасто, и эта тема до сих пор почему-то не очень популярна, особенно в ру-сообществе.

Сегодня я постараюсь это исправить, открыв для вас фантастический мир многопоточности в браузере.

Читать далее
Всего голосов 29: ↑28 и ↓1 +27
Просмотры 9.1K
Комментарии 18

CAP двенадцать лет спустя: как изменились «правила»

Блог компании Timeweb Cloud Высокая производительность *Программирование *Анализ и проектирование систем *Распределённые системы *
Перевод


Эта статья впервые появилась в журнале Computer и подготовлена InfoQ & IEEE Computer Society.


Теорема CAP гласит, что любая сетевая система с общими данными может иметь только два из трех желаемых свойств. Однако, работая непосредственно с разделениями, разработчики могут оптимизировать согласованность и доступность, тем самым достигая некоторого компромисса между всеми тремя.


За десятилетие, прошедшее с появления теоремы, разработчики и исследователи использовали теорему CAP (а иногда и злоупотребляли ею) как повод для изучения широкого спектра новых распределенных систем. Движение NoSQL также использовало её в качестве аргумента против традиционных баз данных.


В теореме CAP говорится, что любая сетевая система с общими данными может иметь не более двух из трех желаемых свойств:


  • согласованность (С), эквивалентная наличию единственной актуальной копии данных;
  • высокая доступность (A) этих данных (для обновлений); и
  • устойчивость к сетевым разделениям (P).

Такое толкование CAP помогало разработчикам быть открытыми для более широкого диапазона систем и компромиссов; действительно, за последнее десятилетие возникло множество новых систем и много споров об относительных достоинствах согласованности и доступности. Формулировка «2 из 3» всегда вводила в заблуждение, поскольку имела тенденцию чрезмерно упрощать противоречия между свойствами. Но сейчас такие тонкости имеют значение. CAP запрещает лишь крошечную часть проектного пространства: идеальная доступность и согласованность при наличии разделений, которые встречаются редко.

Читать дальше →
Всего голосов 23: ↑16 и ↓7 +9
Просмотры 3.9K
Комментарии 11

Балансировка нагрузки и поддержка непрерывности в режиме катастрофоустойчивости

Блог компании CloudMTS Высокая производительность *Разработка веб-сайтов *Системное администрирование *IT-инфраструктура *
image

Привет, Хабр! Представьте себе мир без катастроф — без каскадного резонанса и сдвига полюсов. Ах, сладкий сон. В реальной жизни такое невозможно: закон Мерфи живее закона Мура. Однако всё иначе в квантовом мире ИТ.

Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости. Решаем эту задачу с помощью GSLB (global server load balancing). В случае падения соединения или полного отказа ЦОДа сервис GSLB перенаправит ваших пользователей к доступному дата-центру.

Читать дальше →
Всего голосов 19: ↑17 и ↓2 +15
Просмотры 1.5K
Комментарии 2

Профайлер Бедного Человека: первое знакомство и (приятные) последствия

Блог компании Яндекс Высокая производительность *Программирование *Серверная оптимизация *Разработка под Linux *


Если вам приходилось оптимизировать работу программ, то вы могли слышать о Профайлере Бедного Человека. Этой идее даже посвящён целый сайт. ПБЧ собирает статистику времени выполнения отдельных функций программы, «подглядывая» в процесс её исполнения с помощью дебаггера. Концепт ПБЧ хорошо прижился у нас в движке баннерной крутилки — не буду в 100 500-й раз напоминать, что у Яндекса всё высоконагруженное, ресурсоёмкое и нуждающееся в профилировании. Статья будет полезна тем, кто пилит инфраструктуру, адаптирует какой-нибудь общеизвестный профайлер под себя или просто хочет больше знать про свои программы. Как мы пришли к необходимости в ПБЧ и что именно сделали? Сейчас постараюсь рассказать, местами буду закапывать глубоко в технологии (если переусердствую, пишите в комментариях). А начну со стандартного инструмента статистического профилирования в Linux — perf.
Читать дальше →
Всего голосов 29: ↑28 и ↓1 +27
Просмотры 7.1K
Комментарии 17

Как компании используют RabbitMQ

Блог компании Southbridge Высокая производительность *Системное администрирование *Программирование *IT-инфраструктура *

RabbitMQ — распределённый горизонтально масштабируемый брокер сообщений. Он разграничивает права доступа, поддерживает шифрование, сохранение сообщений на диск и работу в кластерах. Кроме того, он написан на Erlang, а значит, совместим с большинством популярных ОС. На примере кейсов Adidas и Laika разберём, как крупные компании используют RabbitMQ. 

Читать далее
Всего голосов 18: ↑13 и ↓5 +8
Просмотры 4.8K
Комментарии 10

Вклад авторов