В планах разработать единые стандарты для взаимодействия c государственными организациями и повысить надежность облачной среды. Но провайдеры говорят, что в новых законопроектах нет необходимости, поскольку уже существуют отраслевые стандарты. Мы решили разобраться в ситуации и точках зрения.
В 2022 году искушённого хабрачитателя уже не удивить очередной статьёй о том, как готовить Kafka. На эту тему уже есть куча полезных материалов. Например: тут, тут, тут и тут. А вот информации об инструментах, входящих в экосистему Kafka, ещё не так много.
Когда у вас тысячи топиков и десятки брокеров в нескольких дата-центрах, то вручную балансировать реплики партиций ещё возможно. Но где-то на этом этапе работа по переносу реплик с одного брокера на другой становится рутиной. А при увеличении объёмов без автоматизации уже не обойтись. Поэтому мы задумались о том, какие инструменты могут в этом помочь.
Сегодня я поделюсь нашей историей запуска инструмента Kafka Cruise Control от LinkedIn. Наш путь по запуску на наших объёмах был тернист, и получился интересным, почти детективным рассказом. А если вы думаете, как автоматизировать рутинные операции по администрированию Kafka-кластеров, то, уверен, почерпнёте для себя что-то полезное.
Эффективные управленческие решения основаны на качественной аналитике данных. Но информации становится больше, а ее анализ — труднее. Всё чаще на помощь компаниям приходит прогнозная или предиктивная аналитика, позволяющая справиться с экспоненциальным ростом информации благодаря использованию методов машинного обучения.
В этой статье мы рассмотрим предпосылки и признаки необходимости внедрения платформенных решений, а также укажем на аспекты, о которых надо помнить перед или при внедрении системы.
Одним из главных нововведений, которое появилось в Carbonio со свежим обновлением 22.10.0 стала обновленная консоль администратора, которая обладает той же функциональностью, что и предыдущая версия, но при этом предлагает более лаконичный, удобный и понятный интерфейс, который нацелен на то, чтобы сделать максимально удобным управление доменами, пользователями и классами обслуживания. В рамках данной статьи мы детально рассмотрим новый интерфейс и разберемся, как именно в нем совершаются ключевые операции.
В серии из трех статей рассказываем о переходе с монолитной на микросервисную архитектуру. Разбираемся, когда и кому это действительно нужно, рассматриваем 7 миграционных шаблонов и самый больной вопрос: «Как быть с данными?».
За последнее десятилетие данные стали чрезвычайно ценным активом. Это побудило правительства, защитников конфиденциальности и различные некоммерческие организации обратить более пристальное внимание на то, как крупные компании собирают, хранят и обмениваются информацией о клиентах.
Развилась целая индустрия утилизации данных — большая отрасль, в которой компании разрабатывают специальные процессы, обеспечивая надлежащую утилизацию устаревшего оборудования без утечки конфиденциальных данных третьим сторонам. Крупнейшие в мире технологические компании ежегодно уничтожают миллионы устройств хранения данных, а в сумме затраты идут на миллиарды долларов. Это огромная индустрия со своими отдельными правилами.
По данным Financial Times, и Amazon, и Microsoft (два главных владельца центров обработки данных в мире) сейчас выбирают физически уничтожать все свои устройства, несущие данные, которые они больше не собираются использовать. Одной очистки данных с дисков для них недостаточно. Уничтожение миллионов девайсов каждый год в их случае предпочтительнее, чем наличие любого риска утечки информации. В то же время некоторые активисты и гос. организации пытаются изменить эту парадигму и призывают компании переходить просто на очистку своих использованных дисков и их последующую продажу на вторичном рынке.
tar cvzf output.tar.gz /source/path для клонирования дисков, но есть более универсальный инструмент FSArchiver, который сохраняет файловые атрибуты, несколько файловых систем в одном архиве и контрольные суммы файлов с хорошим уровнем сжатия. 
Вы используете Nginx? А как у вас организован мониторинг логов Nginx?
Знаете ли вы, что мониторя логи nginx, вы можете значительно повысить стабильность и надежность своего веб-приложения?
В этой статье я покажу вам, как организовать мониторинг логов Nginx, использовать их в качестве метрик и что вообще можно из них выжать.
Рано или поздно любому системному администратору придёт в голову мысль о создании флешки с Linux с нужными ему программами, будь-то условным Ansible, так и инструментами для восстановления системы. Некоторым же необходим свой LiveCD, который можно будет установить на любой персональный, или не совсем, компьютер.
В этой статье я расскажу как с помощью livemedia-creator создать свой Live-образ Fedora 37 с некоторыми дополнительными программами, который можно как использовать без установки, так и установить на желательный персональный компьютер. Данная статья подойдёт как начинающим пользователям Linux с небольшим опытом, так и ленивым сисадминам, которым лень искать и читать документацию.
«ИТ-храм зеленых фонарей у подножия Асахи
Несокрушим оплот в ночи
Спеши, пока не пришла цифровая зима»
Хокку 20:10, трактат «Искусство ЦОДообороны»
Аварии в дата-центрах ведут к простоям в работе от нескольких часов до нескольких дней. Убытки от таких сбоев и аварий для компании могут составлять от нескольких миллионов до десятков миллиардов рублей. Мы с коллегами собрали статистику по крупным авариям в ЦОД за последние несколько лет и попытались найти закономерности.
Разбираем, как и почему происходят аварии в дата-центрах и что с этим делать.
В канун Нового 1983 года я прибыл в орденов Трудового Красного Знамени и Октябрьской Революции 4-й Центральный научно-исследовательский институт Министерства обороны СССР (4 ЦНИИ МО), где был назначен на должность младшего научного сотрудника 3 отдела вычислительного центра (ВЦ), отдела занимающегося в момент моего прихода разработкой систем программирования (трансляторов, систем отладки и т.п.):
У нас есть задача постоянно компилировать тонны плюсового кода. Наш проект — почти 200 000 cpp- и h-файлов, множество Git-веток, сотни разработчиков, десятки билд-агентов: его нельзя единожды скомпилировать, приходится перекомпилировать постоянно, параллельно, разные версии.
Наш проект необычный. Потому что эти 200 000 файлов — это результат автогенерации. Потому что пишем мы на PHP, а потом через KPHP все PHP-исходники превращаются в плюсы. Именно так разрабатывается бэкенд ВКонтакте.
Компилировать тысячи объектников долго. Локально это занимает много часов. Мы использовали distcc — но всё равно медленно. Мы даже пропатчили distcc для поддержки precompiled headers — но даже тогда медленно. И решили написать своё — чтоб стало, наконец, быстро.
В итоге мы написали замену distcc — компилятор nocc. Он не имеет никакого отношения к PHP и даже к KPHP, а просто предназначен для компиляции .cpp → .o в промышленных масштабах.
Это техническая статья про параллелизацию, демоны и специфику С++. Ссылки на GitHub и видео приложу в конце статьи.
Сегодня модель облачных услуг охватила все ниши бизнеса и приносит SaaS-компаниям огромные прибыли. Например, Salesforce — крупнейший в мире провайдер SaaS — только в 2021 году заработал 21,2 млрд долларов, увеличив свой доход по сравнению с предыдущим 2020 годом на 24%. Согласно экспертным прогнозам, в 2025 году мировой рынок SaaS достигнет объема 436,9 млрд долларов.
Одним из главных драйверов роста SaaS стала эпидемия COVID-19. Повсеместный переход на удаленку и внедрение мер социального дистанцирования заставили предпринимателей по всему миру трансформировать свои бизнес-модели на базе онлайн-сервисов.
Приветствую тебя, дорогой читатель, в четвертой части серии статей «Приручение черного дракона. Этичный хакинг с Kali Linux».
В прошлых частях мы развернули нашу виртуальную лабораторию и поговорили о фазах атак, познакомились с первой фазой разведки, опробовали в деле несколько профессиональных инструментов для сбора различной информации об исследуемом ресурсе.
Как ты вероятно заметил, большая часть инструментов применяемых нами в прошлый раз, это различные сканеры, которые ищут определенную информацию об интересующем нас объекте используя различные подходы. Условно весь процесс сканирования можно разделить на несколько типов (методов):
1) Сканирование сети в целях построения ее карты и понимания того, какие устройства кроме нашего в нем присутствуют (например, как мы это делали утилитой arp-scan).
2) Сканирование портов в целях обнаружения активных служб используемых на целевом устройстве (тут подойдет простое сканирование утилитой nmap, а если использовать дополнительные ключи, то можно получить гораздо больше информации о цели).
Конечно, вы и сами можете легко нагуглить ответы на этот вопрос, однако, как я обнаружил, большинство ответов, которые вы найдете, раскрывают эту тему чересчур поверхностно.
В сегодняшнем вечно занятом мире новые данные, теперь представляющие из себя фундаментальные активы большинства предприятий, создаются без остановки. Системы доступны 24/7, генерируя данные каждую секунду каждого дня. И даже больше, эти сложные композиции систем генерации и обработки данных непрерывно взаимодействуют друг с другом для предоставления услуг конечному пользователю. В последнее время я все чаще натыкаюсь на один вопрос, который заключается в следующем: как обстоят дела с графовыми базами данных и чем они выделяются на фоне реляционных? И в итоге я решил как следует разобраться в этой теме. Найти множество ответов на этот вопрос не представляет особого труда, достаточно просто немного погуглить. Однако, как я обнаружил, большинство ответов перечисляют преимущества очень поверхностно.
Именно поэтому я решил поделиться с вами в этой статье кратким разбором того, в чем по моему мнению заключается их истинная ценность — независимо от маркетинговых презентаций крупных компаний и технологических инфлюенсеров.
Привет, Хабр!
В одной из предыдущих статей блога ISPsystem уже упоминался тот факт, что после февральских событий этого года на волне активного импортозамещения количество запросов на наши продукты выросло в несколько раз.Коснулось это и платформы по управлению IT-инфраструктурой DCImanager.
В этой статье я хочу расставить все точки над i: кому подойдет наша платформа (а кому нет), насколько легко освоить ее после переезда с другого решения для управления IT-инфраструктурой и чем наш DCImanager может быть вам полезен.
