Администрирование

Не так давно мы в департаменте информационных систем (далее – ДИС) ИТМО начали выстраивать новую инфраструктуру для деплоя наших проектов. Образовательным организациям обычно с бюрократической точки зрения сложно прийти к масштабным внедрениям. Нам повезло ― мы смогли путем проб и ошибок выбрать удобные проверенные технологии и реализовать единую среду, которая задала формат взаимодействия между администраторами и разработчиками.

В общей сложности подбор инструментов и их внедрение заняли полтора года. Конечно, иногда был непросто: наступали на “грабли” и возвращались, чтобы выбрать более удачный путь. И это несмотря на то, что в общих чертах было изначально понятно, куда двигаться.

Проанализировав свой опыт, мы решили поделиться основными предпосылками и выводами. Хочется надеяться, что это облегчит внедрение тем, кто пойдет аналогичной дорогой.

В рамках университетского блога мы вводим новую рубрику по DevOps, в которой Lead DevOps инженер ДИС Михаил Рыбкин расскажет, как вместе с командой внедрил платформу деплоя для разработчиков.

Привет Хабр! Снова я и сегодня снова будет разговор о хостингах. За время своих скитаний я пришёл к выводу, что сравнивать их между собой довольно бесполезно, поэтому в этот раз решил сравнивать с реальными железками.

Настройка аутентификации пользователей Carbonio в Active Directory, о которой мы писали в одной из прошлых статей, подразумевает, что в Carbonio LDAP уже имеются учетные записи, каждая из которых соответствует учетной записи, заведенной в AD. Учитывая, что список учетных записей постоянно меняется, процесс создания учетных записей в Carbonio нуждается в автоматизации. Сделать это позволяет утилита AutoProv, которая способна автоматически искать в Active Directory учетные записи и копировать их данные в Carbonio. В данной статье мы расскажем о том, как правильно настроить AutoProv для ваших задач.

Мониторинг играет решающую роль в обеспечении производительности, доступности и стабильности FastAPI-приложений. Отслеживание ключевых показателей и выявление потенциальных проблем поможет разработчикам вовремя принимать решения и улучшить его работу. В этом гайде мы рассмотрим, как настроить мониторинг FastAPI-приложения с помощью двух мощных инструментов: Grafana и Prometheus.

Автоматические телефонные станции (IP-АТС) часто устанавливается на предприятиях как малого, так и крупного бизнеса. В современных условиях телефония нужна для полноценного функционирования любого офиса, а для работы многих функций IP-АТС Yeastar серии P требуется доступ в интернет.

Например, для регистрации удаленных пользователей на базовой лицензии IP-АТС необходимо пробрасывать порты для регистрации и передачи голосового трафика. Такое решение несет в себе определенную долю риска и открывает возможности для хакерских атак на IP-АТС.

Мониторинг является необходимой частью администрирования любой сколько-нибудь серьезной ИТ системы. Благодаря мониторингу мы можем не только узнавать о проблемах и сбоях в работе системы, но также и узнавать о возможных проблемах в работе целевых систем еще до того, как что-то произошло. Так, например, благодаря мониторингу мы можем видеть узкие места в работе сетевого оборудования, утечки памяти или сбои на жестких дисках. Таким образом, средства мониторинга нужны любой системе, в том числе и LDAP.

Мы продолжаем серию статей о применении подхода GitOps к инфраструктуре нашей организации. Первую часть можно почитать тут.  

Я – ведущий DevOps инженер в IT-хабe группы компаний Dyninno. Мы (команда больше 300 человек) занимаемся разработкой ПО и отвечаем за IT инфраструктуру всех компаний группы. Dyninno – международный холдинг, который работает в трех сегментах бизнеса: авиаперелеты, финансовый сектор и индустрия развлечений (кастинг актеров). В прошлой статье я рассказывал о нашем переходе на GitOps, а сегодня хочу остановиться подробнее на управлении инфраструктурой в рамках этого перехода. Эта статья может быть интересна тем, кто задумывается о внедрении GitOps в свою инфраструктуру.  

Всем привет, меня зовут Василий Степаненко, и теперь я работаю в НУБЕС. 

Эта статья для тех, кто любит “перебдеть”, и все информационные системы, в которых производится обработка персональных данных, категорировать по максимальному уровню защищенности, т.е. УЗ-1. Конечно же бывают случаи, когда действительно у информационной системы должен быть УЗ-1, но чаще все же этот уровень защищенности выводят на всякий случай, чтобы точно не придрались. 

Иногда нужно применять средства криптографической защиты информации (СКЗИ) для защиты каналов связи, баз данных, съемных носителей, некоторые хотят и виртуальные машины шифровать в облаке и т.д. Кстати, непосредственно в облаке бывают только СКЗИ класса КС1, остальные потребуют обязательно использовать программно-аппаратный комплекс (КС2, КС3, КВ и КА), так что если вы уже в облаке или собираетесь туда мигрировать свои системы, вам точно стоит разобраться во всем или прочитать статью далее.

Так вот, есть открытый реестр сертифицированых по требованиям ФСБ России СЗИ: http://clsz.fsb.ru/clsz/certification.htm (сам реестр больше, это выписка, свободно доступная). В этом реестре только отечественные СКЗИ, в которых реализованы российские алгоритмы шифрования, такие как ГОСТ 34.10-2018 (электронная цифровая подпись), ГОСТ 34.11-2018 (хеш-функция), ГОСТ 34.12-2018 (блочные шифры, Кузнечик и Магма).

Из реестра нас интересуют только СКЗИ, поэтому средства антивирусной защиты, операционные системы, различные фильтры, межсетевые экраны и прочее не будем учитывать. Для персданных по этим классам СЗИ нужно брать реестр ФСТЭК России. Берем из реестра ФСБ именно СКЗИ классов КС1, КС2, КС3, КВ и КА, которые применяются для защиты сведений конфиденциального характера (но не гостайны) и смотрим, сколько каких вообще есть.

Содержание статьи:

1. Общая информация

2. Как обойти блокировку "OpenAI's services are not availble in your country"

Apache Kafka нередко используется как инструмент накопления истории событий или посредник для взаимодействия микросервисов, работающих с разной скоростью или ожидающих доступа к историческим данным для анализа трендов исторических данных (и в этом случае может использоваться как альтернативное решение для Time Series Database). В большинстве случаев в роли producer и consumer выступают сетевые приложения, которые взаимодействуют через драйвер с поддержкой протокола Kafka, но иногда требуется настроить интеграцию с унаследованными системами или готовыми решениями и для этого может использоваться вспомогательный инструмент Kafka Connect, представляющий большое количество готовых коннекторов. В первой части статьи мы рассмотрели способ создания коннектора для опроса REST API и анализа данных с использованием Hazelcast. В этой статье мы последовательно разберемся с созданием коннекторов для пересылки сообщений из топика во внешнюю систему (Sink Connector) для отправки данных из Kafka в TSDB базу данных TDEngine, а также обсудим, как можно выполнить нагрузочное тестирование всего стека с использованием xk6-kafka.

Кто не любит убирать мусор? Думаю практически все, а вот в Postgres это обязательный ритуал для эффективной работы. Как эффективно настроить уборку за 1С в Postgres можно прочитать в этой статье и еще раз задуматься о бесплатности Postgres.

Всем привет, решил перевести свою англоязычную статью, в которой я скомпилировал знания полученные в течение года работы в web3 инфраструктурном провайдере о данных на EVM блокчейнах и инструментах разработчика для доступа к ним.

Сложно сказать, что культура инженерии данных глубоко укоренилась в сообществе разработчиков Web3. И не каждый разработчик может легко определить, что означает индексация в контексте Web3. Я хотел бы уточнить некоторые детали на эту тему и поговорить об инструменте под названием The Graph, который стал де-факто стандартом индустрии для доступа к данным на блокчейне для создателей DApp'ов (децентрализованных приложений).

Привет, Хабр! Меня зовут Николай Шуняев, я руководитель центра бизнес-анализа в Cloud․ru. В конце 2022 года мы совместно с компанией «Технологии Доверия» провели исследование облачной зрелости российского бизнеса и пообщались с более чем 650 российскими компаниями. Скачать результаты исследования можно здесь.

В статье поделимся некоторыми выводами из исследования и на примере расчета общей стоимости владения рассмотрим, что дешевле — облачная или локальная IT-инфраструктура.

AppArmor — это модуль безопасности ядра Linux, который дополняет стандартные разрешения Linux для пользователей и групп, ограничивая программы набором ресурсов. AppArmor можно настроить для любого приложения, чтобы уменьшить потенциальную поверхность атаки и обеспечить более глубокую защиту. Он настраивается с помощью профилей, настроенных так, чтобы разрешить доступ, необходимый для конкретной программы или контейнера, например возможности Linux, доступ к сети, права доступа к файлам и т. д. Каждый профиль можно запускать либо в принудительном режиме, который блокирует доступ к запрещенным ресурсам, либо в режиме жалобы - режим, который сообщает только о нарушениях.

AppArmor может помочь вам выполнить более безопасное развертывание, ограничив возможности контейнеров и/или предоставив лучший аудит с помощью системных журналов. Однако важно иметь в виду, что AppArmor не является серебряной пулей и может сделать очень мало для защиты от эксплойтов в коде вашего приложения.

Словосочетание «Искусственный интеллект» (ИИ) и все, что крутится вокруг него в последнее время — одна из самых животрепещущих тем во всем мире. Горячий пирожок в технологической среде. Он оказал влияние на многие аспекты жизни, в том числе на образование. Эксперты в данной области заявляют, что «искусственный интеллект» — это общий термин и следует разделять такие специальности, как программирование, статистика и машинное обучение. Машинное обучение всегда подразумевает использование искусственного интеллекта, однако ИИ не всегда подразумевает машинное обучение.

В статье приведён анализ производительности недавно ставшей популярной [1] реализации сортировки Intel AVX-512.

Intel опубликовала невероятно быструю библиотеку сортировки для AVX-512, Numpy переходит на неё, чтобы ускорить сортировку в 10-17 раз

В этом анализе мы рассмотрим производительность x86-simd-sort компании Intel и сравним её с другими обобщёнными реализациями сортировки, например, с std::sort из стандартной библиотеки C++ и vqsort — ещё одной высокопроизводительной реализацией сортировки с ручной векторизацией. Сведение сложных характеристик производительности к единому числу может быть сложной задачей, а получаемые прогнозы могут быть неточными. В своём анализе я хочу шире взглянуть на это значение «10-17 раз» и понять, как оно соотносится с другими высокопроизводительными реализациями.

TL;DR: бенчмаркинг — это сложно. Если вы пользуетесь x86-simd-sort, то можете повысить общую производительность и избежать катастрофического масштабирования при определённых паттернах входных данных с помощью vqsort + Clang. Кроме того, в анализе показано, что аппаратно-зависимая ручная векторизация с широкими AVX-512 SIMD — не единственный способ писать эффективное ПО. Несмотря на свою обобщённость, ipnsort демонстрирует сравнимую с x86-simd-sort производительность, оптимизированную не только под пиковую производительность, используя команды только до уровня SSE2.

Поговорим сегодня про выбор, перед которым встают разработчики всех распределённых систем: обеспечивать ли консистентность данных или доступность системы при различных внешних условиях —  поломках, плановых отключениях узлов, — а также во время штатной эксплуатации. Теория нам даёт простые, но не всегда применимые на практике ответы: можно выбрать либо консистентность, либо доступность (теорема CAP), а когда проблем с сетью нет — то либо консистентность, либо низкие задержки (PACELC). За скобками остаётся вопрос о том, как делать этот выбор. Система как будто всегда должна быть CP или AP, а что происходит, если вдруг работающая CP-система должна начать вести себя как AP, или, наоборот, перейти обратно из AP в CP?

Перед тем как проводить исследования на данных, нужно исследовать сами данные. Достаточно ли их для анализа, какие гипотезы и факторы влияют на результат, а какие — чистая рулетка? На эти вопросы отвечает исследование данных — Exploratory Data Analysis (EDA). Его rdl by red_mad_robot и проводил для «АгроТерры».​