Администрирование

Подборка вебинаров августа по ML 🗓

📌 22 августа, 16:00 

Как сократить расходы на инференс LLM? Кейс компании «Актион»

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Присоединиться онлайн →

📌 29 августа, 16:00 

Production ML: как настроить GPU-ноды в кластерах Kubernetes?

На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.

Присоединиться онлайн →

Оптимизация изображений с помощью Image Stack

Loading… ⏰

Падают охваты из-за долгой загрузки страниц?

В мобильных приложениях, соцсетях и на веб-сайтах это может произойти из-за большого количества изображений.

Image Stack — функция CDN — помогает решить проблему и уменьшить объем передаваемых данных. Инструмент автоматически оптимизирует изображения, улучшает SEO-результаты и повышает уровень конверсии.

В новом материале рассказываем, как работает Image Stack, кому он подходит и какие задачи решает. Также оставили инструкцию по подключению функции.

Читать статью в Академии Selectel→

В развитии темы

Нагрузочное тестирование СУБД в облачной среде — часть 2. Итоги и результат https://habr.com/p/837462/

Методика проведения нагрузочного тестирования .

Задача

Оценить значение производительности СУБД при постоянной нагрузке, в условиях нестабильной инфраструктуры.

Проблема

На производительность СУБД влияет множество случайных факторов.

Гипотеза

В идеальных условиях, при постоянной нагрузке, значения производительности СУБД должно иметь нормальное распределение.

Из гипотезы следует решение задачи:

1. Из непрерывной серии наблюдений сформировать выборку, максимально удовлетворяющую критерию нормального распределения .

2. Статистические результаты найденной выборки - будут решением задачи.

Дополнение по итогам анализа результатов проведенных экспериментов

В связи с трудоемкостью реализации стандартных статистических тестов Колмогорова -Смирнова и Шапиро –Уилка в PostgreSQL, для практического решения задачи, условия получения результирующей выборки можно сильно упростить.

Достаточно выполнение условия симметричность распределения: Медиана = Мода.

Полученные средние значения ( медиана/моде) производительности будут исходным набором данных.

Для уменьшения объёма выборки , набор данных необходимо отсортировать и отфильтровать по значению дисперсии, исключив результаты выходящие за заданную погрешность измерения.

Полученная совокупность данных и будет статистическим результатом нагрузочного тестирования в облачной среде.

Дополнение

Запускать нагрузку необходимо в течении суток.

19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!

Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.

Программа:

18:00-18:30 | Сбор в офисе Ситидрайва, знакомство и Welcome

18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»

Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.

19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»

Спикер: Алексей Романов — Lead of Kubernetes в OKKO.

19:40-20:10 | Нетворкинг

20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»

Спикер: Максим Залысин — Head of DevOps в Positive technologies

20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»

Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

21:15-22:00 | Нетворкинг

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Компании «Газинформсервис» и «РЕД СОФТ» подтвердили совместимость программного обеспечения Litoria Desktop 2 с операционной системой РЕД ОС 8. Совместное внедрение разработок «Газинформсервис» и «РЕД СОФТ» позволит организациям реализовать функциональность при работе с электронной подписью и шифрованием под управлением сертифицированной отечественной ОС.

Программный комплекс Litoria Desktop 2 предназначен для решения комплекса задач электронной подписи и шифрования с ведением аудита действий пользователя. ПО обеспечивает на уровне пользователя поддержку инфраструктуры открытых ключей на основе отечественных СКЗИ, подтвержденное сертификатом ФСБ и результатами тестирования на соответствие международным стандартам в области инфраструктуры открытых ключей (ITU‑T X.509) в рамках международной системы тестов NIST Public Key Interoperability Test Suite (PKITS).

РЕД ОС 8 — российская операционная система семейства Linux для серверов и рабочих станций, разработанная компанией «РЕД СОФТ».. Безопасность работы РЕД ОС обеспечивается средствами защиты информации от доверенных партнеров «РЕД СОФТ», встроенными инструментами мониторинга и реагирования на инциденты, присутствует сканер уязвимостей и средства безопасной разработки.

Всем привет!

Завтра, 22 августа, приглашаем на вебинар, чтобы поговорить про Кафку и научиться разворачивать кластер на своём железе:

«Поднимаем Кафку, не опуская руки. Отказоустойчивый кластер на вашем ПК»

На вебинаре: 

• Расскажем про язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды. 
• Рассмотрим принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных.
• И покажем, как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией.

Обычно в инструкциях кластер из 1 ноды, зукипера и 1 брокера, но это не наш путь. Будем работать с реальными исходными данными, а не на теоретических примерах!

На вебинаре пройдёт и традиционный розыгрыш — один из участников получит бесплатное место на курс «Apache Kafka для разработчиков».

Спикер — Василий Калугин, владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг». 

📌 22 августа в 14:00 мск
📌 Занять место на вебинаре — по ссылке. 

Selectel Tech Day 2024: масштабная конференция для бизнеса и айтишников

Привет, Хабр! 10 октября мы проведем Selectel Tech Day — поговорим об IT-инфраструктуре, трендах в области железа, информационной безопасности, машинном обучении и о том, зачем это все бизнесу. Будут доклады, нетворкинг, мастер-классы, обзор опыта наших партнеров и вечерняя программа.

Зарегистрироваться →

Какие доклады

• «На железе в облака»: как эффективно управлять IT-инфраструктурой в 2025 году.

• Секретный доклад о продукте, который вы ждали.

• Как скорость сетевого стека влияет на бюджет? Ускоряем время с собственной ОС.

• Крупный бизнес в мире IaaS: актуальные требования к облачному провайдеру.

• Как упростить путь в реестр отечественного ПО.

• «Много не мало»: зачем нужен выделенный сервер под базы данных и Kubernetes.

• Как поднять инференс-платформу с автоскейлингом, блэкджеком и обновлениями на лету.

• Инфраструктурные вызовы при построении генеративного ИИ.

Подключайтесь онлайн или присоединяйтесь лично — встречаемся в Москве, в Центре событий РБК. Участие в конференции бесплатное, но нужно зарегистрироваться.

Компания «РЕД СОФТ» заявила об обновление СУБД Ред База Данных 3.0. В августе 2024 года специалисты компании активно работали над функционалом, повысили комфорт взаимодействия с СУБД и внесли 18 исправлений.

Среди нововведений СУБД Ред База Данных v3.0.16:

• Таймаут ожидания при завершении подключений через guardian увеличен до 30 минут;

• Новый параметр конфигурации «LDAPConnectionRetries»: количество попыток подключения к серверам из списка LDAPServer;

• Новая контекстная переменная «LDAP_SERVER» в пространстве «AUTHDATA»;

• Возможность изменять тип BLOB‑поля на другой тип BLOB, совместимый с ним;

• Поиск пользователя SYSDBA теперь выполняется только в БД безопасности (не в LDAP);

• Добавлен плагин агрегатного трейса;

• Возможность аудита базы, которая хранит данные о своих же пользователях (self‑security);

• Возможность подключения к базе пользователя с доверенным сертификатом без создания учетной записи в БД безопасности.

Полный список улучшений представлен на сайте.

19 августа СУБД Ред База Данных подтвердила соответствие новым требованиям по безопасности информации к системам управления базами данных ФСТЭК России.

Компании Content AI и «РЕД СОФТ» провели комплексное тестирование, подтверждающее корректность и работоспособность всех компонентов IDP‑платформы ContentCapture в операционной системе РЕД ОС. По итогам тестирования компании подписали сертификат о совместимости продуктов.

ContentCapture — это система, предназначенная для автоматизации извлечения данных из любых типов документов: отсканированных бумаг, фотографий, электронных документов, текстов писем и вложений. Решение на основе технологий искусственного интеллекта распознает и классифицирует документы, извлекает нужные данные, проверяет корректность и экспортирует в корпоративные информационные системы. ContentCapture включена в реестр отечественного ПО (№ 17 598) и рекомендована для замещения иностранных решений ABBYY FlexiСapture, Kofax Capture, IBM Datacap.

РЕД ОС — российская ОС общего назначения семейства Linux для серверов и рабочих станций. Продукт обладает сертификатом ФСТЭК России и входит в Реестр российского программного обеспечения Минцифры России. Разработка РЕД ОС ведется в закрытом контуре РЕД СОФТ, а исходные коды и пакеты находятся в собственном репозитории, расположенном на территории РФ.

В Облаке Рег.ру добавили образ OpenVPN для OpenStack платформы серверов

Мы поддержали новый протокол для безопасной работы с облаком и с сервисами РФ из-за границы в дополнение к уже существующему протоколу WireGuard. Сервис предназначен для безопасного доступа к корпоративной инфраструктуре и работы с чувствительными данным. OpenVPN имеет широкое распространение и совместим практически с любым устройством и операционной системой. 

У OpenVPN также удобное мобильное приложение OpenVPN Connect для iOS и Android. Чтобы подключиться, достаточно нескольких простых шагов: 

1. перейдите по ссылке из письма регистрации

2. создайте пользователя 

3. скачайте конфигурационный файл 

4. откройте файл с помощью приложения

5. введите логин и пароль 

6. готово, можно пользоваться.

Преимущества сервиса на собственном отдельном сервере — неограниченное число пользователей и устройств, отсутствие «‎соседей» и возможность доступа только к своим ресурсам по приватной сети.

Мы планируем и дальше расширять наш маркетплейс приложений. Следите за обновлениями! 

С момента появления "проблем" с youtube в РФ — с начала августа — моя статья полугодовой давности Личный прокси для чайников: универсальный [CENSORED] [CENSORED] с помощью VPS, 3X-UI, Reality/CDN и Warp обрела новую жизнь: её просмотры взлетели в несколько раз:

Любопытно, что мне удалось предсказать замедление youtube ещё в январе. Цитата из статьи:

> Наконец, помимо блокировок, РКН умеет «замедлять» некоторые ресурсы, например — twitter. Возможно в скором времени та же учесть постигнет youtube (считаю, что его однажды не заблокируют, а замедлят...)

Вскоре после публикации статьи 9 января, в РФ заработали нормы закона, запрещающие к ней доступ, поэтому статью нельзя больше нельзя увидеть с российский IP-адресов (но говорят, что web.archive.org помнит всё)

Рекомендации по доступу к youtube не запрещены на данный момент. Поэтому: рекомендую (всем, кто этого ещё не сделал) обеспечить себе беспроблемный доступ к глобальной видео-библиотеке с помощью личного прокси.

Подключение к этому сайту не защищено...

Когда веб-браузер не может «договориться» с веб-сервером о способе шифрования данных, сайт не открывается, а на экран выдаются сообщения: «Подключение к этому сайту не защищено. Этот сайт не может обеспечить безопасное соединение», «Не удаётся открыть эту страницу. Подключение было сброшено» или даже «Не удаётся получить доступ к сайту. Превышено время ожидания ответа от сайта».

В последнее время причиной таких нестыковок стала активация алгоритма согласования криптографических ключей Kyber768 в веб-браузерах, построенных на платформе Chromium. После включения этого механизма изменяется запрос, отправляемый веб-браузером для установки защищённого соединения TLS 1.3, но ещё не все серверы «умеют» правильно его обрабатывать, что приводит к досадным отказам в обслуживании.

Если попасть на веб-сайт всё-таки необходимо, то можно временно отключить в веб-браузере механизм Kyber768. Например, в Microsoft Edge для этого надо:

1. Набрать в адресной строке текст:edge://flags/

2. Набрать в строке поиска текст:TLS 1.3 hybridized

3. Изменить значение параметра «TLS 1.3 hybridized Kyber support» с Default на Disabled

4. Перезапустить веб-браузер

В других веб-браузерах поиск настройки отличается только текстом в адресной строке: chrome://flags — для Google Chrome, vivaldi://flags — для Vivaldi, и т. д.

Если после этого сайт стал открываться, то можно уведомить о проблеме его владельца. В противном случае значение изменённого параметра лучше восстановить.

29 августа приглашаем на RSHB Meetup: Думай как DevOps в большой компании

Мероприятие откроет доклад Василия Куценко, Руководителя Департамента DevOps в Почтатех — «Секреты успешного DevOps as a Service: Опыт и рекомендации».

Все хотят рассказывать про платформы разработки, DevOps-порталы и новые магические корабли. Но в просторы большого театра надо мигрировать: разобраться с легаси, перевести сотни систем к единому виду. Василий поделится результатами, покажет метрики, дашбордики, а также расскажет, как команда двигается в сторону платформы и чем помогает подход.

Когда: 29 августа, сбор участников с 17:30.
Формат: онлайн и оффлайн, бесплатно по предварительной регистрации.
Оффлайн: в офисе РСХБ-Интех по адресу Москва, Профсоюзная 125А (м. Теплый Стан).
Участников ждут подарки. Подготовили призы за лучшие вопросы спикерам и розыгрыш мерча среди тех, кто оставит отзыв после митапа.

⚡️ Регистрация по ссылке.
⚡️ Чат митапа.

Компания «РЕД СОФТ» успешно завершила сертификационных испытаний СУБД Ред База Данных. Сертификат соответствия ФСТЭК России №2729 продлен до 8 октября 2028 года для версий 3.0 и 5.0. Испытания показали, что СУБД Ред База Данных полностью соответствует требованиям по безопасности информации к СУБД, утвержденным приказом ФСТЭК России №64 от 14 апреля 2023 года., и предлагает пользователям 4 класс защиты. Сохранилось соответствие 4 уровню доверия, требования к которому зафиксированы в приказе ФСТЭК России №76 от 2 июня 2020 года.

В настоящий момент для СУБД Ред База данных заявлены две операционные системы в качестве доверенной среды исполнения: РЕД ОС 7.3, Альт 8 СП и более свежие версии названных дистрибутивов. Пользователям также доступны дополнительные возможности для организации безопасной работы, включая расширенные методы аутентификации, отказоустойчивый кластер, многофакторную аутентификации СУБД и политики безопасности, позволяющие контролировать параметры используемых факторов аутентификации;

СУБД Ред База Данных обеспечивает высокий уровень безопасности при работе с данным и может применяться в:

• Значимых объектах критической информационной инфраструктуры (1 категория значимости);

• Государственных информационных системах (1 класс защищенности);

• Автоматизированных системах управления производственными и технологическими процессами (1 класс защищенности);

• Информационных системах персональных данных (1 уровень защищенности);

• Информационных системах общего пользования II класса.

Решите задачу? Помогите Даше найти адрес подсети

Привет, Хабр! Как насчет простой задачи про сети? Помогите Даше решить задание и попасть в компанию мечты.

Условие

Студентка Даша хочет попасть на стажировку в сетевой департамент IT-компании. Чтобы пройти отбор, ей необходимо решить задачу: найти адрес подсети, зная IP-адрес 192.168.150.111 и маску 255.255.255.224. 

Задача

Помогите Даше справиться с заданием. Решите задачу сами, а затем сверьтесь с ответом.

Ответ: 192.168.150.96

🕵 Почему так получилось? Рассказываем в Академии Selectel.

28 августа проведём открытый экспресс-вебинар «Облако vs On-premise: что выбрать для надёжного бизнеса?»

☁️ Классно, когда бизнес переходит на новый этап развития, масштабируется и стремится перенести свои системы на более эффективные платформы. Такими платформами являются облака — современные, гибкие, динамические среды. Их и обсудим на нашем новом экспресс-вебинаре.

За 30 минут вебинара:

• обсудим, зачем компаниям переходить в облако; 

• разберём плюсы и минусы on-cloud и on-premise решений;

• посмотрим кейс авиакомпании Smartavia с реальными результатами; 

• рассчитаем влияние на бизнес Cloud Native в деньгах;

• ответим на все ваши вопросы.

Чтобы зарегистрироваться — кликайте сюда.

СУБД по природе своей является стохастической, а не детерминированной системой. Потому, что поведение системы в процессе промышленной эксплуатации характеризуется и определяется множеством принципиально случайных факторов . Влияние этих факторов на систему должно оцениваться только в комплексе и только по итогам совокупных наблюдений и статистического анализа.

Методы детерминированного анализа "изменим тут и в результате получим это" или "причиной этого является это" - в принципе если и применимы, то слабоэффективны. Огромное количество времени тратится на то, чтобы график одной , казалось бы важной , метрики изменился . А в результате поведение СУБД как системы , в целом, или не меняется или меняется совершенно неожиданным образом.

Классический пример , повторяющийся регулярно - в ходе проведения нагрузочного тестирования получены некоторые показатели, соответствующие ожидаемым в неких документах , все довольны , этап договора закрыт , система передаётся в промышленную эксплуатацию. Но, как только начинается реальная эксплуатация - информационная система либо тормозит, либо - авария , кризис , поиск виноватых и серебрянных пуль.

Или проще говоря - нет никакой возможности предсказать производительность СУБД по детерминированным входным параметрам : количество соединений , QPS , TPS , etc.

Итог: для анализа производительности и результатов нагрузочного тестирования СУБД - нужны другие методы и другие метрики.

RU BIM Cluster 2024 | Битва за данные и применение LLM и ChatGPT в строительстве. Перевод с GER

Конференция BIM Cluster BW 2024. Штутгарт, 10.07.2024.

🎫 Автоматический перевод записи оригинальной презентации с немецкого языка: "BIM Culster BW 2024: Der Kampf um Daten in der Bauwirtschaft | Anwendung von LLM und ChatGPT im Bau" -   

 • BIM Culster BW 2024: Der Kampf um Dat...  

📖 Книга DataDrivenConstruction - Навигация в эпоху данных в строительной отрасли:
https://habr.com/ru/articles/801065/

В этой презентации мы рассмотрим историю и развитие BIM-технологий и, в частности, появление новых инструментов, которые вносят кардинальные изменения в то, как строительные и проектировочные компании работают с данными и процессами. Мы обсудим, почему использование открытых данных и SDK для обратного проектирования CAD-форматов (BIM) стало неотъемлемым трендом, что позволяет крупным строительным и инжиниринговым фирмам извлекать данные из проприетарных форматов САПР. Также мы обсудим интеграцию структурированных данных и инструментов с открытым кодом в бизнес-процессы и упрощение этих процессов за счет использования современных технологий LLM и ChatGPT.

Это видео предназначено для всех, кто интересуется будущим строительной и проектировачной индустрии и пониманием того, как открытые данные и передовые технологии вроде LLM и ChatGPT могут революционизировать наши методы работы.

Еще не решили, чем займетесь в эти выходные? Тогда приходите на стенд Cloud.ru на ИТ-пикнике в Москве!

Мы подготовили игры на проверку hard skills, творческие задания, облачные коктейли и даже зону для самых маленьких, чтобы вы могли хорошо провести время всей семьей.

Что еще будет на стенде:

• Cloud-Man — наша версия легендарной игры Pac-Man, где вы сможете примерить роль облачного провайдера и перенести все on-premise решения клиентов в облако.

• Кодинг на скорость — получиться ли выкатить фичу в прод всего за 60 секунд? Проверьте себя!

• Физическая викторина — сможете разменять одновременно мозг и тело. 

Самые активные участники получат крутой мерч и наборы LEGO 🎁.

А помимо интересных развлечений на стенде можно будет пообщаться с нашими сотрудниками и побольше узнать про Cloud.ru и продукты. Не упустите шанс лично познакомиться с разработчиками Cloud.ru Evolution!

👉 Зарегистрироваться

Будем рады встрече на ИТ-пикнике!

Интересное в блоге:

• Зачем нужна R&D-команда: взгляд разработчика

• Как объединить кластеры Kubernetes без даунтайма: пошаговая инструкция

• Защищаем приложение в облаке от DDoS-атак: взгляд со стороны провайдера и клиента

Встречайте Security Center

В Академии Selectel мы много рассказывали об информационной безопасности, делились инструкциями и советами. А теперь решили посвятить теме ИБ целый проект. Он будет особенно полезен не только профильным специалистам, но и IT-директорам, DevOps-инженерам и системным администраторам.

Что внутри?

• новости и аналитические отчеты,

• обзоры решений от экспертов,

• кейсы клиентов,

• курсы по информационной безопасности,

• вебинары и воркшопы,

• продукты и услуги по ИБ от Selectel.

Совсем скоро мы опубликуем собственный аналитический отчет по DDoS-атакам за первое полугодие 2024 года. А пока просим вас оценить экспертность Selectel в сфере ИБ. Опрос займет одну минуту и поможет нам в развитии проекта.

Подписывайтесь на рассылку от Security Center, чтобы первыми узнавать про новые материалы по ИБ.

А вы знали, что в Selectel есть продукты для информационной безопасности ваших сервисов?