Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Кросс-компилируем Rust приложения при помощи Nix

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 161
*nix *Rust *C++ *
Туториал

На текущем месте работы столкнулся с необходимости собирать Docker образы для сервисов написанных на Rust. Обычно в таком случае пишется Dockerfile, который внутри докера просто собирает контейнер и все. Но все оказалось не так однозначно: такая схема довольно неплохо работает, когда у тебя есть x86_64 Linux машина, но любой шаг в сторону и начинаются большие проблемы.

Все довольно неприятно уже на Intel MacBook машинах, докер поедает довольно много ресурсов с хоста, а еще возникают всякие странные приколы с монтированием файловой системы и правами доступа. Но настоящий ужас начинается на Макбуках с Apple Silicon процессорами, где обычной виртуализацией уже не обойдешься и можно часами ждать сборки простого сервиса через qemu. Можно решать эту проблему через сборку контейнеров в CI, но когда разработчиков много, а им надо часто что-то пересобирать, то там образовывалась очередь.

Поэтому я начал искать пути, а каким же образом можно избежать в общем-то не нужной виртуализации и в результате нашел довольно успешный и универсальный подход, которым и хочу теперь поделиться.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Новости

Эволюция Dev-серверов CarPrice: от монолита к микросервисам и Kubernetes

Время на прочтение 8 мин
Количество просмотров 217
Блог компании CarPrice DevOps *Микросервисы *Kubernetes *
Кейс

Нужен ли каждому разработчику свой dev-сервер? Многие компании, опасаясь лишних расходов и проблем, даже не пробуют внедрить такой подход.

CarPrice развернул свои dev-серверы еще в те далекие времена, когда все работало на монолите. А после монолита пилил собственный сервис для оркестрации dev-серверов на базе Docker, затем разворачивал их на Minikube и постепенно пришел к Kubernetes.

На связи ведущий инженер отдела DevOps CarPrice Михаил Чешуин. В этой статье я расскажу, как мы запускали dev-серверы в разные периоды — и как все работает сейчас

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Intersec 2023. Тренды рынка турникетов

Время на прочтение 4 мин
Количество просмотров 319
Блог компании PERCo Инженерные системы *
Обзор
Recovery mode

В январе в Дубае состоялась крупнейшая международная выставка в сфере безопасности — Intersec-2023. В мероприятии приняли участие более 800 компаний со всего мира, включая ведущих производителей рынка турникетов. Разберем основные тренды представленного на стендах вендоров оборудования.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 0

Особенности национального ПО: обзор РЕД ОС

Уровень сложности Простой
Время на прочтение 18 мин
Количество просмотров 1.2K
Блог компании Nixys *nix *1С-Битрикс *Разработка под Linux *Софт
Обзор

Всем привет! В связи с последними событиями в мире, вопрос отечественных разработок в сфере программного обеспечения и дистрибуции становится все более и более актуальным и нам все чаще поступают запросы по переезду с западных дистрибутивов на отечественные операционные системы. По законодательству государственные учреждения, корпорации с государственным участием, объекты критической инфраструктуры, например больницы и электростанции, обязаны использовать ПО из единого реестра российских программ. В свою очередь для коммерческих проектов важна минимизация рисков санкций на ПО, которые могут косвенно или напрямую повлиять на работу.

Именно поэтому было решено посвятить статью одному из таких продуктов. Речь пойдет о российской операционной системе РЕД ОС — дистрибутиве, построенном на базе ядра Linux и пакетной базе RPM. Со слов разработчиков дистрибутива, РЕД СОФТ опирается на опыт ведущих мировых сообществ Open Source и придерживается конвенций о наименовании пакетов и спецификации сборок.

Решающим фактором в выборе РЕД ОС является наличие свидетельства государственной регистрации программ ЭВМ и ее наличие в едином реестре российских программ.

В рамках статьи будет продемонстрировано развертывание простого Bitrix окружения на этой ОС, а именно развертывание стандартного LEMP (Linux, Nginx, MySQL, PHP) и установка дополнительных решений для работы проекта на данном дистрибутиве. Однако мы посчитали скучным описание установки стека LEMP только из родного репозитория, поэтому решили в рамках статьи развернуть СУБД MySQL 5.7, пакеты которой отсутствуют в репозиториях РЕД ОС. Как показывает наша практика, данная версия MySQL все еще остается одной из самых популярных для LEMP‑стек проектов.

Читать далее
Всего голосов 7: ↑5 и ↓2 +3
Комментарии 3

Истории

Когда использовать микросервисы: отвечают Сэм Ньюмен и Мартин Фаулер

Время на прочтение 5 мин
Количество просмотров 1.7K
Блог компании Издательский дом «Питер» Программирование *API *Распределённые системы *Микросервисы *
Перевод
image

Что бывает, когда два легендарных теоретика микросервисов, Мартин Фаулер и Сэм Ньюмен, встречаются, чтобы побеседовать о стратегии разработки под такую парадигму? За минимальное время можно составить впечатление о самых свежих представлениях на тему микросервисов. Ниже мы обсудим взгляды на разработку приложений, которые изложил Сэм Ньюмен, когда Мартин Фаулер задал, казалось бы, простой вопрос: «Когда следует использовать микросервисы?»
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 3

Хаос-инжиниринг с Chaos Mesh

Время на прочтение 6 мин
Количество просмотров 289
Блог компании Southbridge IT-инфраструктура *Карьера в IT-индустрии DevOps *Kubernetes *

В этой статье мы поговорим об использовании Chaos Mesh — опенсорс-фреймворка для хаос-инжиниринга в Kubernetes. Все развёртывания из этой статьи доступны на GitLab. Клонируйте репозиторий и продолжайте читать.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

UNIX, SGI и динозавры. Обзор одного из самых необычных файловых менеджеров

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 2.5K
*nix *Интерфейсы *Дизайн История IT
Ретроспектива

UNIX, SGI и динозавры. Обзор одного из самых необычных файловых менеджеров.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 7

Как быстро и просто обновлять YAML-файлы с помощью kubectl

Время на прочтение 2 мин
Количество просмотров 466
Блог компании VK DevOps *Kubernetes *
Туториал
Перевод


Первое, что приходит в голову, когда речь идёт про обновление YAML-файлов — использовать sedawk или perl и т.п. Но если использовать встроенную функцию Kubectl patch, дело пойдёт значительно проще. Команда VK Cloud перевела статью о более простом способе обновления YAML-файлов.
Читать дальше →
Всего голосов 2: ↑0 и ↓2 -2
Комментарии 1

Google предлагает сократить сроки доверия корневым и подчинённым центрам сертификации

Время на прочтение 5 мин
Количество просмотров 1.1K
Блог компании GlobalSign Информационная безопасность *Администрирование доменных имен *Серверное администрирование *Браузеры
3 марта Google объявила в своем блоге о своей инициативе «Движение вперёд, вместе», предлагая всем поддержать их инициативу по существенному сокращению сроков доверия удостоверяющим центрам сертификации.

Напомним, что это не первый шаг такого рода. Ранее корпорация уже выступала за сокращение сроков SSL-сертификатов. И все эти инициативы подчинены одной цели – Google последовательно борется за достижение полной автоматизации процесса выдачи, переоформления и продления сертификатов. Только автоматизация привнесёт в экосистему скорость, безопасность, стабильность и простоту, объясняют в Google. Именно на простоте процесса делает акцент компания, продвигая значимые изменения, которые касаются удостоверяющих центров (CA): www.chromium.org/Home/chromium-security/root-ca-policy/moving-forward-together.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 3

4 простых способа оптимизировать объём индексов в Elasticsearch

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 1K
Блог компании Usetech Системное администрирование *
Туториал

Всем привет! Меня зовут Данила, я выполняю роль SR-инженера в Usetech. В этой статье я бы хотел рассказать о 4-х способах, которые помогут сократить объём ваших индексов в Elasticsearch.

Прежде всего статья будет полезна начинающим специалистам по администрированию ELK стека, администраторам систем мониторинга, разработчикам, внедряющим ELK стек у себя на проекте. 

Работая над мониторингом в одном из проектов мы столкнулись с тем, что временной промежуток, за который мы имеем возможность хранить данные, для нас недостаточен, т.к. хотелось иметь возможность сравнивать работу системы за больший период времени.

Мы видели 2 пути решения проблемы:

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Как создать монорепозиторий с несколькими сервисами, используя Lerna и Yarn?

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1.1K
JavaScript *DevOps *
Из песочницы
Перевод

Для разработчиков построение масштабируемых и поддерживаемых приложений может быть значительным вызовом, особенно при работе с большими кодовыми базами и несколькими сервисами. К счастью, использование подхода монорепозитория в сочетании с мощными инструментами, такими как NX, Lerna и Yarn, может обеспечить упрощенный процесс разработки, который повышает общность кода и возможность повторного использования.

Это подробное руководство нацелено на помощь разработчикам в настройке монорепозитория с использованием NX, Lerna и Yarn. Руководство включает подробную информацию о начальной настройке, структуре каталогов, управлении зависимостями, тестировании и развёртывании.

После освоения туториала разработчик получат полное понимание того, как создавать масштабируемые и поддерживаемые приложения, используя подход монорепозитория. Он также получит знания о необходимых инструментах и знаниях для перехода на новый уровень разработки. Давайте приступим!

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Neural Network Optimization: океан в капле

Уровень сложности Простой
Время на прочтение 14 мин
Количество просмотров 1.6K
Блог компании Doubletapp Серверная оптимизация *Обработка изображений *Машинное обучение *Искусственный интеллект
Обзор
🤖 Сезон machine learning

Всех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов —  оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.

Более крупные модели занимают больше места для хранения, что затрудняет их распространение. Более крупные модели требуют больше времени для работы и могут потребовать более дорогого оборудования. Это особенно важно, если вы создаете модель для приложения, работающего в реальном времени.

Оптимизация моделей направлена на уменьшение размера моделей при минимизации потерь в точности и производительности.

Методы оптимизации

Pruning — устранение части параметров нейронной сети.
Quantization — уменьшение точности обрабатываемых типов данных.
Knowledge distillation — обновление топологии исходной модели до более эффективной, с уменьшенным количеством параметров и более быстрым выполнением.
Weight clustering — сокращение количества уникальных параметров в весах модели.
OpenVino, TensorRT — фреймворки, с помощью которых можно оптимизировать модели.

Читать далее
Всего голосов 26: ↑26 и ↓0 +26
Комментарии 3

Сахар для слоненка — быстрый старт c PostgreSQL для команд в НЛМК

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 2.3K
Блог компании Группа НЛМК PostgreSQL *DevOps *
Туториал

На протяжении более чем 10 лет работы с PostgreSQL, периодически наблюдаю, как команды на начальном этапе, зачастую, не уделяют внимание ролевой модели базы, или как вся команда работает под суперпользователем postgres и забывает про версионирование схемы.

В процессе общения с различными командами в НЛМК у меня появилась идея предложить им «преднастроенный PostgreSQL». Как в итоге сделали — под катом.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 0

SRE: управление инцидентами

Уровень сложности Простой
Время на прочтение 12 мин
Количество просмотров 1.1K
Блог компании OTUS IT-инфраструктура *DevOps *
Кейс

Привет Хабр! Не так давно общался с SRE в нашей команде и он рассказал мне о базовых принципах процесса управления инцидентами, теперь я поделюсь этим с вами, быть может кому‑то поможет.

Управление инцидентами включает в себя мониторинг, анализ, планирование и выполнение. SRE работают с операционными группами, экспертами по техническим вопросам, разработчиками, инженерами DevOPs, владельцами приложений и другими.

При оценке инцидентов SRE обращают внимание на такие критерии, как импакт и частота повторения — для того, чтобы определить, какие инциденты требуют дальнейшего анализа.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 0

Очередной проект для себя или что такое MPS

Уровень сложности Средний
Время на прочтение 18 мин
Количество просмотров 978
*nix *
Из песочницы

Здравствуйте, Хабровцы... Хабровичане... В общем, всем привет! В последнее время я помогал другу с его соц. сетью и столкнулся с кучей проблем, поняв что мыслю быстрее времени, но при этом отстаю от него, ведь у меня уже давно расписаны проекты решающие все эти проблемы, но не реализованы... Дак вот, относительно недавно я наконец полностью доделал один из них и хочу узнать ваше мнение и получить пару советов по его улучшению.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Книга «Kafka Streams и ksqlDB: данные в реальном времени»

Время на прочтение 17 мин
Количество просмотров 1.3K
Блог компании Издательский дом «Питер» Администрирование баз данных *Профессиональная литература *Распределённые системы *
image Привет, Хаброжители!

Работа с неограниченными и быстрыми потоками данных всегда была сложной задачей. Но Kafka Streams и ksqlDB позволяют легко и просто создавать приложения потоковой обработки. Из книги специалисты по обработке данных узнают, как с помощью этих инструментов создавать масштабируемые приложения потоковой обработки, перемещающие, обогащающие и преобразующие большие объемы данных в режиме реального времени.

Митч Сеймур, инженер службы обработки данных в Mailchimp, объясняет важные понятия потоковой обработки на примере нескольких любопытных бизнес-задач. Он рассказывает о достоинствах Kafka Streams и ksqlDB, чтобы помочь вам выбрать наиболее подходящий инструмент для каждого уникального проекта потоковой обработки. Для разработчиков, не пишущих код на Java, особенно ценным будет материал, посвященный ksqlDB.
Кому адресована книга
Эта книга адресована специалистам по обработке данных, желающим научиться создавать масштабируемые приложения потоковой обработки для перемещения и преобразования больших объемов данных в режиме реального времени. Подобные умения часто необходимы для поддержки интеллектуальной обработки данных, аналитических конвейеров, обнаружения угроз, обработки событий и многого другого. Специалисты по данным и аналитики, занимающиеся анализом потоков данных в реальном режиме времени и желающие усовершенствовать свои навыки, тоже смогут почерпнуть немало полезного из этой книги. В ней автору удалось отойти от привычной пакетной обработки, которая обычно доминировала в этих областях. Предварительный опыт работы с Apache Kafka не требуется, хотя некоторое знакомство с языком программирования Java облегчит знакомство с Kafka Streams.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Дублирующий скрипт: как с его помощью мы ускорили бизнес-процесс с двух рабочих дней до семи минут

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 1.4K
Блог компании Банк «Открытие» Python *Big Data *DevOps *
Кейс

Как известно, при создании промышленного процесса, в котором регламентирован каждый шаг, все участвующие подразделения стараются максимально облегчить выполнение своей части работы. Поэтому часто применяются упрощения, которые не позволяют учесть все нюансы процесса, отслеживаемые в ручном режиме каждым аналитиком. По сути, перед автоматизаторами стоит задача охватить наибольшее число вариаций и при этом не усложнить процесс так, чтобы с ним было невозможно работать. Под усложнениями понимаются различные блокирующие процесс проверки, многочисленные итерации согласований по той или иной задаче, формы дополнительного ручного ввода данных и т.п.

В итоге формируются упрощенные требования, которые не позволяют в полной мере реализовать контроль как над ручными ошибками пользователей, так и над ошибками, допущенными при разработке требований и алгоритмов автоматизируемого процесса.

Вас приветствуют Гевонд Асадян и Илья Мясников. В банке «Открытие» в управлении риск-технологий мы занимаемся внедрением моделей оценки кредитного риска. В этой статье на примере большого и сложного процесса выдачи экспресс-кредитов мы расскажем, как нам удалось реализовать полноценный дубль процесса на стороне одного проверочного скрипта и ускорить процесс выдачи экспресс-кредитов с двух рабочих дней до семи минут.

Далее про наш кейс
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 1

Менеджмент сертификатов – как застраховаться от просрочки

Время на прочтение 7 мин
Количество просмотров 2.3K
Блог компании QIWI Информационная безопасность *Сетевые технологии *

Для обеспечения защищенного соединения между партнерами, подписи документов, а также организации защищенных каналов связи используются сертификаты. Они позволяют шифровать трафик либо ставить цифровую подпись, которая равнозначна рукописной подписи. Так как это дело обычное и частое, то в компаниях, которые так или иначе связаны с онлайном, таких сертификатов великое множество.

Эти сертификаты имеют срок годности, они выпускаются не на 100 лет (технически это возможно, но по понятным причинам вариант не пользуется популярностью), а обычно на год. И частенько они просрочиваются – срок сертификата подходит к концу, об этом забывают и пропускают его смену, что приводит к потере денег или времени. Боль, на самом деле, повсеместная, и немногие пытаются успешно с ней бороться. У нас это получилось, и мы хотим поведать вам о нашем пути, который еще не закончен.

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 12

Глубокое погружение в CEF (команды) для IOS-XE

Время на прочтение 11 мин
Количество просмотров 436
Блог компании OTUS Сетевые технологии *Сетевое оборудование
Перевод

В качестве примера используется C9300.

Модель: C9300L-24UXG-4X
Уровень управления (CP) = R0
Уровень передачи данных (DP) = F0, UADP/ASIC

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 1

Пример миграции IT-инфраструктуры на отечественные решения

Уровень сложности Средний
Время на прочтение 3 мин
Количество просмотров 1.9K
IT-инфраструктура *
Кейс
Recovery mode

Не так давно мне удалось пообщаться с ИТ-директором одной крупной компании (с целью избежать рекламы, названия и имена упоминаться не будут) о замене инфраструктуры и сервисов. Естественно, вся эта тема вызывает вполне нормальную реакцию — страх и ужас. На самом деле принцип «ИТ-переезда» схож с переездом на новую квартиру: старую мебель хочется сохранить, но нет уверенности, что старый шкаф влезет в новую прихожую.

Выяснили, что миграция без серьезных последствий возможна, но только если она поводится медленно и планомерно.

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Комментарии 1