Задумывались ли вы о переходе из кодинга фич в сторону инфраструктурной разработки? Любопытство к SRE практикам растет, поскольку устойчивость и надежность приложений стали главными факторами успеха на рынке. В этом материале мы собрали для вас успешные карьерные кейсы действующих SRE-инженеров.
Администрирование
История о фейлах Amtrak со связью «поезд-земля». Просьба к РЖД — не повторять
На форуме ПМЭФ-2023 в очередной раз заговорили о проекте ВСМ (высокоскоростной магистрали) Петербург-Москва. Поездка займет 2.5 часа и на это время пассажирам надо себя чем-то занять. Ж/д оператору скоростной интернет нужен для удаленного видеонаблюдения и возможности продать Wi-Fi скучающим пассажирам. Тут важно не ошибиться с технологиями связи. Как это бывает на других проектах — в истории про фэйлы Amtrak со связью «поезд-земля».
Cloud vs. on-premise — как получить ресурсы для старта вашего проекта
Чтобы поддерживать темпы развития, ИТ-компаниям жизненно необходимы вычислительные ресурсы. Нехватка инфраструктуры — это одна из «болезней роста» разработчиков приложений и сервисов.
В глобальном смысле специалистам необходимо решить две задачи: выбрать технологический стек и построить инфраструктуру. И если с первой все более-менее понятно (все упирается в личные предпочтения и фреймворки, с которыми работает команда разработчиков и на которых построены другие приложения коллектива), то во втором случае возможны разные ситуации.
Многие небольшие компании закупают аппаратное обеспечение под MVP, тесты и проверку гипотез. Но такой подход влечет за собой ряд неудобств.
Альтернативное решение — готовые виртуальные машины в облаке.
Настройка и мониторинг Java приложений
За годы работы у нас сформировался определенный опыт диагностики и решения проблем, связанные с производительностью наших Java-приложений. В этой статье я опишу причины торможения, с которыми приходилось столкнуться, и возможные пути их исправления. Также опишу основные настройки, которые мы делаем, и ресурсы сервера, которые использует приложение.
Речь пойдет о бизнес-приложениях с одним сервером Java-приложения и одним сервером базы данных PostgreSQL, в каждом из которых одновременно работают от 500 до 2000 сотрудников компании. Приложения разработаны на базе открытой и бесплатной платформы lsFusion (пример приложения), но все описанные проблемы и настройки не являются специфическими именно для нее.
Истории
Учимся создавать и настраивать Jenkins Jobs
Jenkins CI позволяет разработчикам автоматизировать создание, тестирование и развёртывание кода. Кроме того, он оттачивает возможности для обработки любой сборки или непрерывной интеграции. Jenkins Jobs фокусируется на непрерывном создании и тестировании кода, чтобы любые внесённые изменения легко интегрировались в сборку. В этой статье мы посмотрим на Jenkins в действии — разберём, как создавать и настраивать Jenkins Jobs.
МегаполОС или как мы были вынуждены переизобрести DevOps
Это история о том как небольшая группа IT-шников хотела автоматизировать свою работу, а в результате решила переизобрести DevOps-заново, и (с точки зрения этой группы) добилась прогресса.
От предыдущего этапа нашей деятельности у нас осталось множество IT-разработок. Какие-то остались недоделанными, какие-то были выпущены в продакшен, какие-то были опубликованы как open source, какие-то остались закрытыми, какие-то нужно было архивировать, а какие-то опубликовать как демо-версии. Всё было свалено в кучу на нескольких VPS-ках. И чтобы продолжать деятельность, стало важно привести все это во вменяемый вид...
Огонь, вода и всякие трубы: от чего защищает ЦОД система мониторинга
Бывали ли вы когда-нибудь внутри настоящего дата-центра? Мы проведем экскурсию и покажем, как устроен ЦОД изнутри.
Также мы поговорим о проблемах, с которыми сталкивается оператор при эксплуатации ЦОД. И как можно от них защититься?
Главный инструмент защиты – грамотная система мониторинга. Мы расскажем, как она облегчает жизнь и экономит деньги.
Интересно? Читайте нашу новую статью.
Как я Cyberpunk в облаке запускал: часть 2
Сразу спойлер, что комфортно поиграть получилось, более того, также удалось получить удовольствие от процесса подготовки к игре. Vox humana!
Первая часть посвящена серверной стороне облачного гейминга, вторая — клиентской.
От 3proxy до Nginx forward proxy через боль и страдания (Часть первая 3proxy)
Не судите строго, это моя первая статья, наверное если бы я был гуру Nginx и "Линуха", то скорее всего боли и страданий бы не было.
С чего все началось?
Одним днем мне понадобилось реализовать довольно не тривиальную задачу:
Есть множество сервисов с которых нужно собирать данные для обработки и дальнейшей аналитики, модуль который это все собирает может быть установлен на множество серверов (пока 40, но в горизонте года это 1000), но хочется чтобы все обращения от этих серверов шли на один ip , а с него уже распределялись в зависимости от типа запроса или конечной точки обращения. Условно мы обращаемся к серваку 100.1.2.101 по порту 8080 и просим от него данные о всех домах на определенной территории ,он в свою очередь по заданному сценарию коннектится к определенному proxy (Допустим squid, он нужен так как некоторые api залочены по ip) и через него получает данные из конечного api.
P.S. Данные нельзя хранить на промежуточном сервере, так как они слишком часто обновляются :(
В итоге я решил эту задачу разделить на несколько этапов одна из них это распределение нагрузки...
Проверка антенн при помощи векторного анализатора NanoVNA-F V2
Между разработчиком радиоканального устройства и котом Базилио есть что-то общее. Оба героя работают с полями и оба помогают закапывать материальные ценности. Но если кот только прикидывается слепым, чтобы заработать денег, то разработчик таковым является. Не по своей воле мы получаем заработную плату за скопированные из мануалов готовые и совершенно непроверенные решения. Следовал четким указаниям производителя, трассировку бережно заимствовал с отладочного кита, дорожки и антенну рассчитал по широко известной методике или в известной программе.
Правильный выбор антенны является критически важным пунктом при проектировании радиоканальных устройств. Антенну необходимо подобрать под частоту рабочего диапазона и согласовать с выходным каскадом. При хорошем согласовании мощность передатчика излучается в окружающее пространство, при плохом – возвращается обратно. Немалое значение играет цена антенны, её повторяемость. Часто приходится сталкиваться с конструктивными ограничениями, малой площадью печатной платы или её сложной геометрией. Проверить параметры антенны можно при помощи векторного анализатора. Долгое время данные приборы были недосягаемы для радиолюбительских целей, да и компании зачастую жмотятся на покупку дорогостоящего оборудования. К счастью, времена меняются.
DNS-over-CoAP, ботнеты и дискуссии регуляторов — сетевой дайджест
Компактная подборка материалов о работе провайдеров и свежих решениях регуляторов по вопросам шифрования, VPN и внедрения протокола IPv6.
Как разместить телеграм бота на сервере. Хостим бота через Push в GIT
В этой статье мы рассмотрим, как развернуть телеграм бота на python в облаке через push в GIT одной командой
Укрощение строптивого: передача L2 трафика через SD-WAN
Растянутый L2, SPAN, информационная безопасность и SD-WAN — довольно странный набор сетевых технологий для статьи, но, если бы автор вам предложил почитать про очередные active/active балансировки по unequal cost каналам связи в SD-WAN это было бы не так любопытно.
В этой статье делимся опытом и показываем, как настроить решение в режиме передачи L2 трафика между филиалами. И, забегая вперед, можем сказать, что все получилось настолько просто, что даже бубен доставать не пришлось.
Система для менеджера V1.1. Добавление расчета затрат и развитие функционала планирования
В предыдущей статье я рассказывал, как мне пришла идея сделать систему для помощи менеджерам проектов/продуктов в работе.
В первой версии я заложил базовый функционал для менеджмента. Сейчас я продолжаю развивать его и делюсь обновлениями, которые я добавил в шаблон.
Перехват трафика как вектор атаки на пользователей блокчейн-проектов
Привет, Хабр! Меня зовут Игорь Агиевич, я специалист по безопасности распределенных реестров в компании Positive Technologies. C 2021 года занимаюсь безопасностью в области блокчейн-технологий, в сфере ИТ работаю в общей сложности 17 лет.
В статье поговорим о проблемах безопасности блокчейн-проектов, пришедших из мира Web 2.0. В этой области отсутствует сложившаяся практика, поэтому в публичной плоскости крайне мало сведений о механизмах защиты, используемых этими проектами. Статья является более подробным вариантом доклада с прошедшего киберфестиваля Positive Hack Days 12 на эту же тему.
Опыт, накопленный при проведении пентестов, и понимание сетевых технологий помогли мне провести исследование атак на блокчейн-проекты, проведенных с использованием техник DNS hijacking и BGP hijacking.
Вы узнаете, как перехват пользовательского трафика приводит к тому, что пользователи теряют криптовалюту. Кроме того, в этой статье:
🔷 разберем, как злоумышленники проводили атаки на сетевом уровне (благодаря открытым данным восстановим многие шаги атак буквально по минутам);
🔷 декомпилируем смарт-контракты (далее — контракты) атакующих;
🔷 выясним, какие публичные механизмы защиты внедрили пострадавшие проекты и что с ними не так;
🔷 попробуем улучшить механизмы обнаружения рассмотренных атак и защиты от них, а также рассмотрим обозреватели блокчейнов (выясним, как найти в блокчейне контракты злоумышленника, зная только один из них);
🔷 поговорим о том, какие шаги необходимо предпринять держателям криптовалют, чтобы не стать очередными жертвами.
Как мы боролись с овербукингом Kubernetes-кластеров
Привет! Меня зовут Александр Лебедев, я SRE в Samokat.tech. Мы строим надёжную платформу для сервисов быстрой доставки и в зону ответственности моей команды входят поддержка Kubernetes-кластеров и управление их ресурсами.
Под катом история о том, как мы пришли к своему варианту resource management через борьбу с овербукингом по CPU.
10 шаблонов запросов для ChatGPT, которые выдадут качественные ответы в помощь продакт-менеджеру
Привет! Я Аля — продакт-менеджер выделенных серверов Selectel. Люблю быстрое тестирование гипотез (и да, верю, что в B2B это возможно), общаться с целевой аудиторией и чистить бэклог.
Хочу поделиться, как продакт-менеджеры могут превратить ChatGPT из магии и забавной болталки, вокруг которой уже существует целая куча мемов, в полезный инструмент для решения повседневных задач. В этом тексте дам шаблоны запросов для разных целей — от составления структуры презентаций до валидации идей. Задачу ChatGPT не облегчала и проверяла его на боевых задачах, связанных с развитием моего непростого продукта.
Дисклеймер: Сразу отмечу, что рассматриваю AI-инструменты в качестве мощного ускорителя работы и источника вдохновения, а не как полную замену продакт-менеджера. Да, с помощью ChatGPT или Notion AI можно генерировать идеи и вопросы для интервью, но принятие решения о дальнейших шагах и выбор путей реализации все равно остаются в компетенции специалиста.
Kotlin вместо bash. Прокачиваем автоматизацию на сервере
Для решения задач автоматизации рутинных процессов для системных администраторов и DevOps чаще всего используются или bash-сценарии или python. Первое решение косвенно используется и в описании Dockerfile, поскольку сценарий исполняемых команд принципиально ничем не отличается от запуска скрипта в какой-либо shell, второй подход чаще ассоциируется с автоматизацией, связанных с взаимодействием с хранилищами данных. Но несправедливо было бы обойти стороной возможность создания исполняемых сценариев на языке Kotlin, которые могут стать полноценной заменой bash-сценариям.
В этой статье мы рассмотрим несколько примеров использования Kotlin Scripting (KTS) для автоматизации в распределенной системе, будем использовать долгоживущие скрипты с ожиданием заданий через RabbitMQ, а также поработаем с файловой системой, внешними сервисами, а также попробуем использовать KTS для сборки Docker-контейнеров.
Сквозная оптимизация в промышленности
В этом посте я хочу рассказать о своем опыте разработки технологии, которая управляет интеллектуальными решениями, используемыми в промышленности, чтобы сделать их работу эффективнее и обнаружить скрытые выгоды для бизнеса.
Предыстория
Для начала приведу пример системы, которыми управляют классы продуктов, описываемых в статье.
Некоторое время назад я столкнулся с задачей оптимизации расхода ферросплавов (далее ФС). При производстве стали сталевары добавляют специальные вещества, ферросплавы, чтоб получить нужную марку с определенным химическим составом (см. схему с этапами ниже). Например, чтобы содержание Si в полученной стали было не менее 0.2 % (в технологической инструкции обычно указан диапазон, допустим от 0.2 до 0.3, но мы для простоты будем говорить только о нижней границе).
ViTalk GPT: генератор DAX-запросов для Visiology 3
Привет, Хабр! Сегодня я хочу рассказать о нашем новом чат-боте ViTalk GPT. Он использует ИИ для генерации запросов на языке DAX, которые можно использовать в Visiology 3, причем учитывает не только особенности нашей платформы, но и контекст ваших запросов. О том как это работает, почему ViTalk GPT помогает переносить экспертизу не только из Power BI, в чем секрет создания “готовых” скриптов, которые можно просто вставлять в нужное поле в Visiology 3, и зачем вообще это нужно — читайте под катом.