Администрирование

Ни одно облачное решение, если только оно не разработано на заказ, не может полностью удовлетворить все запросы потребителя. Поэтому многие хотя бы раз отправляли производителю ПО feature request, или, по-русски, запрос на добавление дополнительной функциональности. Возможно, вы тоже были в этой роли. Производитель может включить такой запрос в дорожную карту развития продукта. Или отправить его в корзину. В этом материале расскажем, чем отличается работа с feature request у создателей решений, в основе которых лежат скопированные open source продукты и Enterprise, и какой подход мы используем при обновлении нашей платформы для построения виртуальных ЦОДов vStack.

Roadmap, который поможет вам научиться работать с SQL. Чтобы стать настоящим экспертом в SQL, нужно много практиковаться и изучать различные аспекты языка на протяжении многих лет. Мой Roadmap предлагает отличный старт для начала изучения SQL, поэтому я рекомендую вам приступить к обучению согласно плану.

Потребность в обработке информации растет с большой скоростью. Увеличиваются вычислительные мощности, растет пропускная способность каналов связи, появляются новые, требовательные к ресурсам highload приложения – все это выдвигает повышенные требования к мощностям Центров Обработки Данных (ЦОД), и в частности к сетевой инфраструктуре. Но прежде, чем начать рассмотрение различных вариантов дизайна сетей ЦОД, давайте вообще определимся, что же из себя представляет Центр Обработки Данных.

Словосочетание дата-центр мгновенно вызывает в голове образ гудящего сервера и километров проводов, опутывающих невзрачные однотипные помещения. Мы принимаем их как должное, зная, что они поглощают огромный массив данных, поддерживают цифровые операции, но не более того. Между тем такие объекты, изначально появившиеся в утилитарных целях, постепенно выделяются в новую многофункциональную типологию, не похожую ни на что другое, ранее созданное человечеством. 

ЦОДы и коммуникационные хабы являются своеобразным выражением нового этапа инфраструктурного развития общества. Уже сейчас объекты такого рода начинают оказывать влияние на эстетический дискурс в большой архитектуре.

Дело в том, что дата-центры — это первая несомастштабная человеку типология, изначально заточенная под установку оборудования, оптимизацию техпроцессов, инженерных параметров и сохранение стабильности работы механизмов. Внутри таких зданий, как правило, все подчинено простой логике, а объемно-планировочные характеристики продиктованы чистой математикой. Такая радикальная смена проектировочных паттернов заметно встряхнула архитектурную мысль во всем мире.

Человек и его габариты уже не являются определяющими критериями оценки окружения, а параметры здания не привязаны к строению тела, удобству пешеходной навигации или общественному поведению.

Сколько помню домашние роутеры, всегда была возможность установить на них какую-нибудь неофициальную прошивку, и роутер начинал работать стабильнее (не всегда). Потом появилась возможность добавлять пакеты, расширяющие функциональность роутера.

Сейчас, благодаря бурному развитию ARM архитектуры, мы можем приобрести довольно мощные, компактные железки за адекватную стоимость. А производители начали расширять функциональность прошивок. Если, например, вам нужна только поддержка USB модема, то многие роутеры могут предоставить это из коробки.

А если фукционала из коробки не хватает и хочется большего, то нужно как раньше смотреть в сторону неофициальных прошивок.

В последние 8 лет мой фаворит - это OpenWrt, прошивка на базе ядра Linux. Это полноценная операционка, в которой есть свой менеджер пакетов и туда до сих пор не проник systemd.

Как можно изолировать поды и пространства имён? В этом нам помогут сетевые модели Kubernetes.

Сетевая модель Kubernetes определяет, что:

● Каждый под получает собственный IP-адрес.

● Поды могут взаимодействовать с любыми другими подами в кластере при помощи IP-адресов подов (без NAT).

● Изоляция (ограничение того, с чем может взаимодействовать каждый под) определяется сетевыми политиками.

Давайте создадим два пространства имён и развернём в них несколько подов, а после этого потестируем, как именно поды взаимодействуют друг с другом в кластере Kubernetes.

Сколько раз, отвечая на звонок, вы слышали «Иван Иванов? Добрый день! Лейтенант Петр Петрович, главное управление МВД/ секретная служба безопасности Центрального банка России/ Следственный комитет/ подставьте свое»? Знаем, что чаще, чем спойлеры к последнему сезону «Игра престолов», ведь, по данным опроса Национального агентства финансовых исследований, в мае—июне 2021 года 89% россиян получили спам-звонки. Как с технической точки зрения мошенникам и спамерам удавалось дозвониться до нас, и кто пытается забрать у них эту привилегию, рассказывает Михаил Борисов (облачная платформа Voximplant). 

- Вы работали с Кафкой?
- Нет, только читали.

За несколько десятилетий развития ИТ систем разработчики накопили огромный опыт хранения и обработки данных. Различные СУБД позволяют с помощью запросов извлекать нужные данные за определенный период и обрабатывать их так как необходимо. Однако, со временем увеличились вычислительные мощности серверов, пропускная способность каналов связи, и соответственно, возникла необходимость обрабатывать бОльшие объемы данных за единицу времени. И тут выяснилось, что при всем многообразии различных решений для хранения данных, отсутствуют решения для обработки непрерывных потоков больших объемов данных. Для решения этой проблемы стали появляться различные системы, такие как системы обмена сообщениями и агрегирования журналов. Но они не могли в полной мере обеспечить нужную производительность на больших, непрерывных потоках данных.

Для решения этой проблемы в LinkedIn решили создать нужное решение что называется с нуля. Разработчики решили отказаться от хранения больших объемов данных, как в реляционных базах данных, хранилищ пар «ключ/значение», поисковых индексов или кэшей, а рассматривать данные как непрерывно развивающийся и постоянно растущий поток и проектировать информационные системы и архитектуру данных — на этой основе. Так появилось решение Apache Kafka, которое изначально использовалось для обеспечения функционирования работающих в реальном масштабе времени приложений и потоков данных социальной сети. Но сейчас это решение используется во многих крупных компаниях. Посмотрим подробнее как оно устроено.

Сегодня я хочу поговорить о том, каких преимуществ в вопросах резервного копирования и аварийного восстановления можно добиться за счет смены архитектуры архива и правил хранения информации. Разумеется делать я это буду на примере нового формата архивов, который используют продукты КИБЕРПРОТЕКТ. Из интересного сразу выделю, что мы добились увеличения плотности до 5 раз! (это реальный показатель), а также повысили скорость, удобство и надежность. Не обошлось конечно и без проблем обратной совместимости и некоторых нюансов. Под катом — отличия нового формата, примеры оптимизаций, которые мы сделали, подробнее о плюсах инкрементного бэкапа, а также рекомендации по работе с резервными копиями в современных условиях. Всех заинтересованных приглашаю обсудить архитектурные подходы к работе с резервными копиями.

Привет! На связи Олег Казаков из Spectr.  

Вопросы безопасности разрабатываемого софта последнее время стоят очень остро, и внедрение практик безопасной разработки в существующие процессы становится необходимостью. 

Мы подготовили цикл статей, где поделимся своим опытом и наработками и расскажем, из чего состоит DevSecOps и как его внедрить в процесс разработки. 

В первой статье поговорим о теории DevSecOps и подробно рассмотрим Pre-commit Checks.

Во многих компаниях задумываются о внедрении больших больших языковых моделей для векторизации и в качестве классификатора. Однако здесь есть несколько моментов, которые обычно отпугивают. Во-первых, непрогнозируемость улучшения результатов по сравнению с уже имеющимися решениями. Во-вторых, сложности по внедрению этих моделей в промышленную среду. Мы постарались раскрыть весь путь от идеи до ввода в эксплуатацию, описали проблемы, с которыми столкнулись, и их решение.

С ростом онлайн-магазина возникла необходимость выбрать недорогой, но при этом надёжный VPS-сервер. Начитался на Хабре инструкций по выбору и решил сравнить несколько вариантов по услугам, ценам, отзывам/репутации. 

В каждом пункте начисляем баллы хостинг-провайдерам в зависимости от места в рейтинге, который они заняли. Чтобы было максимально честно и прозрачно. И понятно, кого и за что выбирать. 

В статье рассматривается Komodor — сервис, предоставляющий удобный веб-интерфейс для мониторинга за состоянием кластера Kubernetes. В нем реализованы удобные инструменты для отслеживания и управления состоянием развернутых ресурсов и уведомления пользователей в случае непредвиденных ситуаций.

«Приложение для тех, кто хочет вести активный образ жизни, а не просиживать штаны за компом», «Сервис генерации картинок на русском языке, заточенный под бизнес», «Онлайн-сервис для тех, кто задолбался подписывать договоры со своими клиентами на бумаге» и еще несколько интересных проектов в февральском дайджесте.

NULL - это специальное значение, которое используется в SQL для обозначения отсутствия данных. Оно отличается от пустой строки или нулевого значения, так как NULL означает отсутствие какого-либо значения в ячейке таблицы.

История появления NULL в SQL довольно интересна и длинна. В начале 1970-х годов Д. Камерер (D. Chamberlin) и Р. Бойд (R. Boyce) предложили использовать реляционную модель для полной замены иерархических и сетевых моделей данных, которые были актуальны в то время. Полная замена предполагала возможность хранения значений NULL в таблицах структуры базы данных.

Первоначально, NULL был создан как интегральный элемент реляционной модели данных. Это означало, что NULL мог быть использован в качестве значения для любого типа данных (целого числа, строки и т.д.) или даже целой строки (например, таких значений как "неизвестно" или "нет данных").

Когда была разработана SQL, NULL был реализован как специальное значение или маркер, который указывает на отсутствие значения в столбце. Таким образом, в SQL NULL означает отсутствие значения или неопределенное значение.

Однако, NULL создал некоторые проблемы при работе с данными в SQL. Например, если вы выполняете операцию на столбце, содержащем NULL значение, результат операции также будет NULL. Это означает, что использование NULL может приводить к нежелательным результатам, таким как непредсказуемое поведение.

Однако, важно понимать, что NULL не обязательно означает отсутствие информации или отсутствие значения в столбце. NULL может быть использован для разных целей, таких как указание на неопределенный результат для вычислений или как маркер для отметки отсутствия значения в таблице.

Автор

Выполняйте свои скрипты Python, как команды bash

Написание скриптов Python для создания интерфейсов командной строки (CLI) — широко используемый метод для DevOps и бэкенд разработки.

Ключом к реализации CLI в Python является встроенный модуль argparse. Он предоставляет все необходимые функции и позволяет использовать скрипт Python в качестве команды bash.

В этой статье будут представлены некоторые важные моменты создания CLI с помощью Python на 7 уровнях сложности.

Вы замечали, как простые вопросы иногда приводят к сложным вопросам? Сегодня мы попытаемся подступиться к одному из таких вопросов. Категория — наша любимая: сетевые аспекты Linux.

Astra Linux — крупный игрок на рынке информационных технологий в России. Компания производит отечественное ПО, в том числе защищенные операционные системы и платформы виртуализации. Продукты разработчика входят в реестр Минкомсвязи России, используются крупнейшими государственными структурами страны, министерствами и корпорациями. Он является членом ассоциации «Руссофт» и АРПП, лауреатом национальных и международных премий. Список заслуг и достижений достаточно внушительный, что и стало главным стимулом более детального знакомства с основными продуктами.

Улучшаем читаемость схем и повышаем производительность

Всем нам (ну хорошо, большинству!) приходится иметь дело с Apache NiFi в качестве ETL-инструмента. У нас он используется для управления потоками данных в платформе ZIIoT (кому интересно, что это за зверь, можно почитать здесь). Apache NiFi — инструмент хороший, местами удобный, позволяет быстро решать задачи, в том числе и достаточно высокой сложности, не формируя для этого отдельную группу разработчиков. Однако, как правило, по ходу проекта условия этих задач меняются несколько раз, и нередко их решением на разных этапах занимаются разные люди в режиме аврала. И вот в результате мы видим НЕЧТО