Администрирование

С каждым днем, по мере роста объема обрабатываемых данных, становится все более важным использование эффективных методов обработки. Особенно значимым является внедрение параллельных вычислительных архитектур для достижения высокой производительности. Однако многие стандартные способы хэширования неэффективны при параллельной обработке данных. В ответ на эту проблему разрабатываются новые методы хэширования, специально адаптированные для параллельных вычислений. В данном эссе рассмотрены различные способы параллельного хэширования, выявлены их преимущества и недостатки. 

В современном цифровом мире, где взаимодействие с онлайн-ресурсами и web приложениями стало неотъемлемой частью нашей повседневной жизни, безопасность и управление личной идентификацией стали ключевыми аспектами. Именно в этом контексте становится крайне важным понятие “Identity Provider” или, сокращённо, IdP.

Identity Provider представляет собой централизованный сервис, который играет решающую роль в процессе аутентификации пользователей в сети. Это технологическое решение позволяет пользователям идентифицироваться и получать доступ к различным ресурсам и сервисам, используя единый набор учётных данных или методов аутентификации.

IdP обеспечивает не только процесс аутентификации, но и авторизации, что делает его краеугольным камнем в управлении идентификацией в цифровом мире. Он предоставляет удобный и безопасный механизм для учета пользователей, определения их ролей и разграничения доступа к ресурсам и данным на основе этих ролей. Таким образом, IdP способствует усилению безопасности и контролю над доступом, одновременно облегчая пользовательский опыт.

В этом эссе мы рассмотрим более подробно, как происходит взаимодействие с Identity Provider, его преимущества и роль в обеспечении безопасности данных и доступа в цифровой эпохе.

Под Новый Год мы с женой пересматриваем одну популярную магическую сагу — хочется знаете ли в жизни волшебства. В IT волшебства тоже хватает — от танцев с бубнами до самых современных технологий, принцип работы которых проще объяснить тёмной магией. Так, например, бытует мнение, что настройка service mesh — это магия, подвластная лишь волшебникам DevOps. Но у нас в Альфа-Банке разработчики исторически не маглы, а, как минимум, полукровки, поэтому имеют право приобщиться к волшебному миру.

В этой серии статей я хочу поделиться опытом изучения технологии service mesh, а именно Istio, на примере практической задачи, возникшей какое то время назад в одной из систем Альфа Банка, системным архитектором которой я являюсь.

В первой статье я расскажу о наших архитектурных подходах, породивших задачу, а также в подробностях, со схемами и примерами, покажу как мы ее решали и с какими трудностями столкнулись.

Вторая статья будет посвящена нагрузочному тестированию и выводам об эффективности полученного решения.

Привет, Хабр.

В одном из проектов, связанных с мониторингом, мы используем Clickhouse, Prometheus, VictoriaMetrics, Grafana, Alertmanager и Vector.dev. Кстати, что общего у всех этих компонентов? Они написаны не на Java – это было одним из требований проекта, но речь ниже пойдет не об этом, а о Vector.dev.

Хорошая статья про Vector.dev есть на Хабре – но мы решили проверить свою карму, затащив Vector.dev в PoC. На текущий момент полет вполне нормальный: используем ограниченное количество source и sink’ов: File, Clickhouse, HTTP, JournalD и, конечно, сам Vector и его логи (немного погоняли kubernetes_logs, кстати, интересный доклад по теме логов Kubernetes был на недавней VK Kubernetes Conf’23).

Всем привет!

Меня зовут Юрий, я консультант SAP ERP. Как любой IT‑специалист, я постоянно ищу пути автоматизировать рабочие дела.

Один из подходящих инструментов — фоновое задание. Оно позволяет не наблюдать на мониторе за выполнением программы, а откладывать запуск, например, до ночи, чтобы не нагружать систему тяжёлой операцией днём, планировать регулярные операции… В общем, преимуществ много для любого специалиста, который регулярно ставит задания в SAP ERP.

Далее расскажу, как создавать задания двумя способами и как их отслеживать. А если вы только начинаете разбираться в SAP ERP, дам несколько полезных советов, которые сильно упростят работу и помогут использовать весь потенциал фоновых заданий.

Всем привет! В первой части своего повествования я рассказал об опыте создания при помощи ChatGPT telegram-бота с функцией продвинутого калькулятора IP-сетей и набором полезных сетевых инструментов.

В этой статье я подробнее объясню и наглядно продемонстрирую каждую из его текущих возможностей, а также поделюсь дальнейшими планами по совершенствованию сетевого мультитула.

Приветствуем! На связи вновь Глеб Кононенко и Алексей Диков — разработчики из Лиги Цифровой Экономики. Ранее мы уже немного рассказывали про наш опыт работы с распределенными таблицами в ClickHouse в этой статье.

Сегодня хотим поделиться опытом оптимизации запросов и работы со словарями данных. Используемая версия ClickHouse: 23.8.7.24

Когда Тим Бернерс-Ли в ранних 90-х представил технологии, определившие будущую Всемирную паутину, в мире уже не одно десятилетие существовала по-настоящему децентрализованная компьютерная сеть с довольно богатым контентом и открытым доступом, в отличие от окружённой мифами ARPANET. В этом посте мы вкратце расскажем о Usenet — проекте двух университетских выпускников, который всё ещё живет, не оглядываясь на новые технологии. 

Началась эта история в Северной Каролине с двух друзей из Дьюкского университета, Джима Элиса и Тома Траскотта. Они работали над протоколом UUCP, Unix to Unix Copy Protocol. Их друг из университета Северной Каролины Стивен Белловин хотел создать софт, который позволил бы людям пользоваться этим протоколом, и тоже вошёл в основную команду.

Проект оказался довольно успешен: с помощью UUCP стало возможно отправлять файлы и сообщения между компьютерами и мини-компьютерами, соединёнными по сети. И, поскольку речь идёт о 1970-х, под компьютерами подразумеваются мейнфреймы, занимающие целую комнату или этаж. Мини-компьютеры же варьировались по размерам примерно от письменного стола до пары холодильников. Для своего времени они обеспечивали приличную вычислительную мощность, но до мейнфреймов им было далеко.

Представим ситуацию. Вы хотите выстроить процесс реагирования на ИБ‑инциденты в компании. Для этого нужно вовремя фиксировать атаки на вашу инфраструктуру. Вы решаете собирать логи и мониторить все, до чего можете дотянуться: хосты, межсетевые экраны, антивирусы, пользовательские устройства. Логов много, они разные. В таком объеме данных сложно вычленить что‑то полезное даже самому опытному ИБ‑специалисту. А вам нужно, чтобы в нем могли разобраться дежурные администраторы (первая линия техподдержки), которые знают только базу, но зато на посту 24 на 7. Они должны фиксировать аномалии, реагировать на типовые угрозы по регламенту, а сложные кейсы дальше передавать профильным ИБ‑инженерам для купирования и расследования атак.

Именно с такой задачей мы имели дело, когда решили выстроить такую систему реагирования на ИБ‑угрозы в нашем облаке NGcloud. Меня зовут Иван, я занимаюсь защитой облачной инфраструктуры. Сегодня я расскажу, как мы организовали все вышеперечисленное при помощи Wazuh.

Почему выбрали Wazuh?

В апреле мы опубликовали статью об автоматизации умной бани под Ижевском. Там был красивый щит с подсветкой, но сама автоматизация была сделана довольно просто. Хотелось бы увидеть что-то более сложное.

И вот с нами связались представители компании «ПарТроник», которая занимается автоматизацией частных и коммерческих бань. Они предложили нам посетить сауну-аттракцион «Памуккале» в банном комплексе «Термоланд спорт» на этапе проведения пусконаладочных работ.

В статье мы рассмотрим, какие развлечения и сценарии баня может предложить клиентам и как все это сделано на техническом уровне. Причем решение масштабируемое — его можно использовать как для домашней бани, так и для больших комплексов.

Интересно? Ныряйте под кат.

Хочу поделиться с сообществом простым и полезным шаблоном скрипта-обёртки на bash для запуска заданий по cron (а сейчас и systemd timers), который моя команда повсеместно использует много лет.

Сначала пара слов о том зачем это нужно, какие проблемы решает. С самого начала моей работы системным администратором linux, я обнаружил, что cron не очень удобный планировщик задач. При этом практически безальтернативный. Чем больше становился мой парк серверов и виртуальных машин, тем больше я получал абсолютно бесполезных почтовых сообщений "From: Cron Daemon". Задание завершилось с ошибкой - cron напишет об этом. Задание выполнено успешно, но напечатало что-нибудь в STDOUT/STDERR - cron всё равно напишет об этом. При этом даже нельзя отформатировать тему почтового сообщения для удобной автосортировки. Сначала были годы борьбы с использованием разных вариаций из > /dev/null, 2> /dev/null, > /dev/null 2>&1, | mail -E -s '<Subject>' root@.

Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:

1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.

2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).

И так, поехали!

Выбор подходящей системы управления базами данных (СУБД) для корпоративного использования всегда был непростой задачей, а в условиях необходимости импортозамещения этот выбор приобретает критическую значимость для многих организаций.

Если вы находитесь в поиске надежной, масштабируемой и легко настраиваемой под свои задачи системы управления базами данных, или просто хотите понимать, что в данный момент предлагают российские разработчики – эта статья для вас.

Бесплатный PostgreSQL тоже звучит заманчиво, но не забывайте, что придется потратить время на его настройку и, возможно, даже на внесение изменений в исходный код, если вам потребуется больше мощностей. И еще один момент – качественная поддержка. Если возникнут проблемы, кто вам поможет их решить? В общем, выбор СУБД – дело серьезное!

Политика безопасности многих компаний предписывает обязательный контроль над электронными письмами пользователей, которые они отправляют и получают. Такой контроль может преследовать сразу несколько целей: от предотвращения утечек важной информации до контроля за соблюдением правил общения с клиентами. Одним из способов контроля за сообщениями является их перехват и перенаправление в почтовый ящик ответственного лица, который впоследствии сможет поднять их в ходе расследования различных инцидентов. В данной статье мы расскажем о том, как можно организовать перехват сообщений пользователей в Carbonio.

Привет! Меня зовут Игорь Латкин, я сооснователь и системный архитектор в  KTS. Сегодня расскажу про Grafana Mimir — одно из хранилищ данных для системы мониторинга Prometheus. 

Это сравнительно молодой проект, запущенный в прошлом году. Mimir входит в экосистему Grafana, которая, уверен, знакома многим пользователям. Решение основано на Cortex — это проект, которым пользовалась и развивали Grafana до запуска собственной системы. 

Привет, Хабр.
Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платформе носит название Trove. Мы посмотрим, как устроены основные компоненты сервиса и их взаимодействие, затронем некоторые особенности реализации механизмов безопасности, а также кратко обсудим особенности code-style.

Время от времени компании проводят аудит. Это комплексный взгляд на ИТ-инфраструктуру и варианты ее развития. Когда чаще всего проводят аудит?

• Непонятна картина реального состояния ИТ-инфраструктуры. Такая ситуация может возникнуть, например, при смене руководства или уходе/замене ключевых сотрудников.

• Общее состояние ИТ-инфраструктуры с точки зрения бизнеса «какое-то не такое». Слишком большие расходы, частые инциденты, нарушение SLA.

• Впереди большой проект (например, назревшая замена CRM) и вопросов пока больше, чем ответов (на что, как, поможет ли).

Аудит должен ответить на главные вопросы:

— Как выглядит реальная картина ИТ?

— Какие есть проблемы и узкие места в инфраструктуре?

К этим вопросам добавилась и тема перехода на российские решения. Многие существующие продукты невозможно заменить «один к одному». Важно определить, какой функционал используется, какой висит мертвым грузом, а от чего можно отказаться.

В этом посте мы пройдемся по ключевым блокам, которые должны быть включены в аудит ИТ-инфраструктуры, и основным доступным сейчас инструментам.