Администрирование

4 года назад наша команда Nixys рассказывала, почему мы решили сделать собственный инструмент для резервного копирования и почему другие инструменты нам не подошли. Сегодня хочу рассказать, какие проблемы и недостатки в старой версии нам мешали, почему мы решили всё переписать и что у нас в итоге получилось. Добро пожаловать под кат.

Сегодня обсудим узкоспециализированные возможности и кейсы использования RabbitMQ. Эти вещи полезны не всем, но в некоторых случаях помогают сэкономить уйму времени.

Что конкретно разберём:

— расчёт количества консьюмеров по формуле Эрланга;

— шардирование — различные способы балансировки;

— дедупликацию сообщений в очереди;

— многоуровневую очередь повторных попыток;

— приоритеты сообщений.

Keycloak для нас – центральная система авторизации и аутентификации всех внешних и внутренних пользователей. Мы «подружили» ее с другими системами и сервисами, гоняли с различными нагрузками и хотим поделиться общим впечатлением.

Под катом рассказ про то, как у нас все устроено под капотом, а также плюсы и минусы работы с Keycloak, которые мы подметили за последние два года.

Привет!

На связи Ваня Гулаков, DevOps из CloudMTS. Сегодня хочу рассказать про контейнерные ОС и как мы искали для сервиса Managed Kubernetes ту самую.

До недавнего времени мы использовали дедушку CentOS 7, который уже давно отжил свое. Основные причины переезда, соответственно, старое ядро и отсутствие поддержки. 

Раз уж переезд был неизбежен, появилась мысль присмотреться к так называемым Linux For Containers или Container Optimized OS дистрибутивам. 

Как можно оценить качество работы SAST-инструмента? Ответ простой: посмотреть на количество false positive и false negative срабатываний на заранее подготовленном уязвимом приложении.

Мы выложили в открытый доступ на GitHub новую версию IAMeter — уязвимого приложения, созданного специально для оценки эффективности SAST-анализаторов. Просканировав его анализатором PT Application Inspector, мы убедились, что SAST вполне может быть как точным, так и полным одновременно, — нашлись все настоящие уязвимости, но не было срабатываний на заведомо ложных.

Предлагаем и вам проверить свой анализатор в «боевых» условиях — сканируйте проект IAMeter и пишите о полученных результатах в комментариях или в наш Telegram-чат.

Публичный Open Source-релиз Deckhouse состоялся в 2021 году. С тех пор мы много и подробно рассказываем о платформе — на Хабре, на конференциях, в СМИ. Однако когда мы проводим презентации Deckhouse потенциальным клиентам, по-прежнему нередко слышим примерно один и тот же вопрос: «А что вы, вообще, сделали? Взяли Kubernetes и засунули в него разные Open Source-компоненты?»

Я понял, что есть проблема с пониманием продукта и решил рассказать на HighLoad++ 2022, что мы сделали на самом деле.

Про ChatGPT уже рассказано много, поэтому я не не буду сильно заострять внимание на его возможностях. Его возможности действительно впечатляют, поэтому вокруг него и поднялся такой хайп. Он настолько хорош, что миллионы людей захотели с ним пообщаться и узнать насколько он крут. После его выхода прошло достаточно времени чтобы можно было сказать что этот бот достаточно крут, так как продолжает привлекать к себе внимание. Он не настолько хорош чтобы в текущей версии действительно заменять собой людей, но его способностей вполне хватает чтобы люди не теряли к нему интерес. А это уже кое что значит.

Я соглашусь с вами в том, что ChatGPT — это всего лишь виртуальный собеседник. Это чисто программный продукт, и поэтому пообщаться с ним можно только в интернете. Не идет никакой речи о том, чтобы он управлял роботом, наподобие тех, которые разрабатывает Boston Dynamics. В реальном мире такие системы еще долго не будут составлять нам конкуренции. На роль дворника способного убирать улицу эта разработка точно не претендует. А вот в виртуальной сфере все не так однозначно. Уже сейчас, на текущей стадии развития ChatGPT способен создавать несложные части программного кода, но на этом его возможности не ограничиваются. Этот бот может придумывать интересные тексты и эссе. Так что со временем он вполне cможет вписаться в нишу квалифицированного интеллектуального труда, в котором на данный момент находится достаточное количество высокооплачиваемых людей. Поэтому я надеюсь что вы начинаете понимать каким людям в будущем этот бот будет составлять настоящую конкуренцию.

Буквально вчера вышел Proxmox Virtual Environment 7.4, и вот что обещают его авторы в виде списка изменений:

- Debian 11.6 "Bullseye", но с использованием более нового ядра Linux 5.15 или ядра 6.2 (опционально).
- QEMU 7.2, LXC 5.0.2 и ZFS 2.1.9
- Ceph Quincy 17.2.5 и Ceph Pacific 16.2.11
- Планировщик ресурсов кластера (CRS): автоматическое восстановление баланса виртуальных машин и контейнеров при запуске
- Полностью интегрированный вариант темы "Proxmox Dark"
- Темный режим для форума сообщества Proxmox
- Сортировка дерева ресурсов по имени и ID ВМ
- Подробная информация о Ceph OSD в графическом интерфейсе и API
- Загрузка логов задач в виде текстовых файлов

и, как это принято говорить, когда "громкие" изменения заканчиваются, "многое другое".

Тем не менее, список поправленных и дополненных мелочей велик, за ним, а также за видео работы нового темного интерфейса, приглашаю под кат!

У блог-платформы «LiveJournal» есть набор удалённых функций и протокол их вызова для сторонних веб-клиентов. В этой статье я описываю, какие из этих функций удобно использовать для загрузки к себе на компьютер всех постов своего журнала (блога). Также я даю пояснения к алгоритму загрузки всех постов, показанному в виде псевдокода в документации к клиент-серверному протоколу «LiveJournal», и привожу его перевод на русский язык с некоторыми изменениями.

В конце статьи я описываю свою практическую реализацию алгоритма загрузки постов на языке PowerShell. В статье есть иллюстрация работы полученного скрипта и ссылка на его исходный код на веб-сервисе «GitHub».

Авторское описание Интеллектуальной Транспортной Системы Полного Регулирования и Управления Транспортом (ИТС СПРУТ), которая позволяет полностью решить транспортные проблемы современных городов: от безопасности дорожного движения до автоматических автомобилей. Рассмотрен весь цикл создания: от технического задания до практической реализации в виде программы демо-​версии ИТС, которую можно скачать себе на компьютер и лично удостовериться, что дорожное движение без дтп и пробок реально возможно (ссылка на скачивание программы для ПК).

Автор: Кри­во­ше­ев Роман Ва­си­лье­вич, яв­ля­ет­ся изоб­ре­та­те­лем прин­ци­пи­аль­но но­во­го под­хо­да к ре­ше­нию транс­порт­ных про­блем «Эко­ло­ги­за­ция ур­ба­ни­за­ции», и со­от­вет­ствен­но, пер­во­ис­точ­ни­ком пред­став­лен­ной ин­фор­ма­ции.

На­чать пред­ла­гаю с са­мо­го на­ча­ла, то есть, с тех­ни­че­ско­го за­да­ния (ТЗ) на ИТС. Так как транс­порт­ная наука яв­ля­ет­ся при­клад­ной, то же­ла­тель­но, чтобы ТЗ пи­са­ли бы сами поль­зо­ва­те­ли. При­чём в фор­ма­те того, что нужно имен­но поль­зо­ва­те­лям, а не того, что со­вре­мен­ная транс­порт­ная наука может ре­а­ли­зо­вать. Эти за­про­сы поль­зо­ва­те­лей, не про­ти­во­ре­ча­щие за­ко­нам фи­зи­ки, но без учёта тех­ни­че­ской воз­мож­но­сти и спо­со­бов их ре­а­ли­за­ции, будем на­зы­вать «хо­тел­ка­ми». То есть, те­ле­пор­та­ция не под­хо­дит, а вот от­сут­ствие про­бок и ав­то­хам­ства под­хо­дит. Тогда, иде­аль­ной транс­порт­ной си­сте­мой будем счи­тать си­сте­му, удо­вле­тво­ря­ю­щую ВСЕМ тре­бо­ва­ни­ям ВСЕХ по­тре­би­те­лей в мак­си­маль­ном тео­ре­ти­че­ском объ­ё­ме с учё­том нетранс­порт­ных огра­ни­че­ний ре­аль­но­го мира.

Долгие годы люди стремились к всё более реалистичному изображению окружающих их вещей. Много лет прошло от симпатичных наскальных мамонтов до шедевров эпохи Ренессанса и Просвещения. Однако где-то в 19-м веке (примерно, когда стала появляться первая фототехника, ага), что-то пошло не так, и живопись сменила своё направление от реализма к абстракции. Дальше больше; и все "скатилось" до клякс, пятен и потёков, размазанных по холсту или любой другой поверхности стоимостью в миллионы долларов... И при этом зачастую совершенно было непонятно, кто автор "шедевра": 3-х летний ребенок, маститый художник, нейросеть или кот, опрокинувший банку варенья.

Похожие процессы происходят и в мире данных, синтетические, сгенерированные, абстрактные данные обретают всё большую ценность на рынке. Такие данные являются более безопасными, а также позволяют тестировать системы качественнее и воспроизводить проблемы до их появления в продакшене... А еще делать прогнозы, анализ, безопасно обмениваться и многое другое.

В этом посте мы рассмотрим основные моменты генерации данных с нуля (на основе схемы БД), а так же на основе уже существующих данных. Рассмотрим способы, методы, особенности и инструменты. А каждый шаг будем иллюстрировать примерами живых и настоящих SQL-запросов (в основном PostgreSQL-flavour, но постараемся и не только). И в итоге убедимся, что SQL позволяет нам не только эффективно работать с уже существующими данными (на минуточку, уже почти на протяжении 50 лет), но с помощью него их можно еще и довольно эффектно придумывать.

WOO Network — это экосистема, которая объединяет 3 биржи (одну централизованную и две децентрализованные) вокруг токена WOO, с целью предоставления трейдерам глубокой ликвидности по низкой цене.

WOO Network была создана в 2019 году компанией Kronos Research, которая занимается многостратегической высокочастотной торговлей и имеет средний ежедневный объем торгов на ведущих криптовалютных биржах в 5–10 миллиардов долларов.

Сама компания Kronos Research была основана группой выпускников университета Карнеги‑Меллона, которые одни из первых совершили переход от традиционных финансов к криптовалюте — сейчас компания является важным маркет‑мейкером в мире CeFi и DeFi.

В настоящее время создан разнообразный набор продуктов:

WOO X — централизованная криптобиржа со спотовым и фьючерсным рынками для активных трейдеров и институциональных клиентов. Платформа агрегирует ликвидность с других централизованных и децентрализованных торговых площадок, предлагает спотовую торговлю с нулевой комиссией и полностью настраиваемый модульный интерфейс.
WOO X является основным продуктом WOO Network

WOOFi — децентрализованная биржа c самой низкой комиссией за своп, поддержкой кроссчейн‑обмена криптоактивов и получением доходности за счёт одностороннего использования активов. WOOFi использует ликвидность алгоритма синтетического проактивного маркет‑мейкинга sPMM v2 для задействования курсов с централизованной торговой площадки в мире децентрализованных финансов. Это позволяет трейдерам торговать с большими объёмами в рамках блокчейна по курсам с централизованных криптобирж, одновременно сохраняя полное право собственности на свои активы.

Сегодня, 23 марта, в России свой профессиональный праздник отмечают метеорологи и все, кто так или иначе причастен к работе гидрометеорологической службы. В честь этого Информационная служба Хабра пообщалась с руководителем сервиса «Яндекс Погода» Александром Ганьшиным. Мы узнали, как в компании собирают данные для прогнозов, какие алгоритмы обрабатывают их и как погода добирается до смартфонов пользователей.

С распространением COVID-19 организации перевели сотрудников на удаленный режим работы, что напрямую повлияло на кибербезопасность организаций и привело к изменению вектора угроз.

В 2020 году увеличилось использование сторонних сервисов для обмена данными, работа сотрудников на домашних компьютерах в потенциально незащищенных сетях Wi-Fi. Увеличилось количество людей, использующих инструменты удаленного доступа. Это стало одной из главных проблем для сотрудников ИБ.

Одним из наиболее популярных протоколов прикладного уровня, позволяющим получать удаленный доступ к рабочей станции или серверу под управлением ОС Windows, является проприетарный протокол Microsoft — RDP (англ. Remote Desktop Protocol - Протокол удаленного рабочего стола). Во время карантина в сети Интернет появилось большое количество компьютеров и серверов, к которым можно подключиться удаленно. Наблюдался рост активности злоумышленников, которые хотели воспользоваться текущим положением вещей и атаковать корпоративные ресурсы, доступные для сотрудников, отправленных на удаленную работу. На рисунке 1 представлена статистика атак на RDP. По графику видно, что количество атак на RDP значительно увеличилось с начала пандемии.

Мы открыли новый дата-центр «Ростелеком-ЦОД» в Медведково. Строительство началось в июле 2022 года на базе складского комплекса класса А+, первый этап был реализован за 9 месяцев.

Сегодня в эксплуатацию принято 4 машинных зала из шестнадцати. Каждый из них может вместить до 312 стандартных серверных шкафов, т. е. всего 1248 стойко-мест. Общая электрическая мощность четырех машинных залов и поддерживающей инженерной инфраструктуры составляет 9 МВт.

Каждый из нас сталкивался с необходимостью настройки сложного ПО, интенсивно потребляющего ресурсы компьютера. Как правило, у такого софта довольно объёмная конфигурация, и из-за этого бывает трудно подобрать комбинацию параметров, при которой этот софт демонстрировал бы высокую производительность при минимальной утилизации железа.

Одна из наиболее ресурсоемких категорий софта сегодня — это системы хранения данных. К ним можно отнести как классические СУБД, так и хранилища различного назначения. В корпоративной почтовой системе Mailion мы используем объектное хранилище собственной разработки — Dispersed Object Store (DOS). Mailion поддерживает одновременную работу до миллиона пользователей, и подобный уровень нагрузки выдвигает существенные требования к производительности и экономической эффективности системы.

Под катом рассказываем, как мы искали оптимальную конфигурацию нашего объектного хранилища, и какие уроки извлекли из этого поиска.