Администрирование

Не судите строго, это моя первая статья, наверное если бы я был гуру Nginx и "Линуха", то скорее всего боли и страданий бы не было.

С чего все началось?

Одним днем мне понадобилось реализовать довольно не тривиальную задачу:

Есть множество сервисов с которых нужно собирать данные для обработки и дальнейшей аналитики, модуль который это все собирает может быть установлен на множество серверов (пока 40, но в горизонте года это 1000), но хочется чтобы все обращения от этих серверов шли на один ip , а с него уже распределялись в зависимости от типа запроса или конечной точки обращения. Условно мы обращаемся к серваку 100.1.2.101 по порту 8080 и просим от него данные о всех домах на определенной территории ,он в свою очередь по заданному сценарию коннектится к определенному proxy (Допустим squid, он нужен так как некоторые api залочены по ip) и через него получает данные из конечного api.

P.S. Данные нельзя хранить на промежуточном сервере, так как они слишком часто обновляются :(

В итоге я решил эту задачу разделить на несколько этапов одна из них это распределение нагрузки...

Между разработчиком радиоканального устройства и котом Базилио есть что-то общее. Оба героя работают с полями и оба помогают закапывать материальные ценности. Но если кот только прикидывается слепым, чтобы заработать денег, то разработчик таковым является. Не по своей воле мы получаем заработную плату за скопированные из мануалов готовые и совершенно непроверенные решения. Следовал четким указаниям производителя, трассировку бережно заимствовал с отладочного кита, дорожки и антенну рассчитал по широко известной методике или в известной программе.

Правильный выбор антенны является критически важным пунктом при проектировании радиоканальных устройств. Антенну необходимо подобрать под частоту рабочего диапазона и согласовать с выходным каскадом. При хорошем согласовании мощность передатчика излучается в окружающее пространство, при плохом – возвращается обратно. Немалое значение играет цена антенны, её повторяемость. Часто приходится сталкиваться с конструктивными ограничениями, малой площадью печатной платы или её сложной геометрией. Проверить параметры антенны можно при помощи векторного анализатора. Долгое время данные приборы были недосягаемы для радиолюбительских целей, да и компании зачастую жмотятся на покупку дорогостоящего оборудования. К счастью, времена меняются.

Компактная подборка материалов о работе провайдеров и свежих решениях регуляторов по вопросам шифрования, VPN и внедрения протокола IPv6.

В этой статье мы рассмотрим, как развернуть телеграм бота на python в облаке через push в GIT одной командой

В предыдущей статье я рассказывал, как мне пришла идея сделать систему для помощи менеджерам проектов/продуктов в работе. 

В первой версии я заложил базовый функционал для менеджмента. Сейчас я продолжаю развивать его и делюсь обновлениями, которые я добавил в шаблон.

Привет, Хабр! Меня зовут Игорь Агиевич, я специалист по безопасности распределенных реестров в компании Positive Technologies. C 2021 года занимаюсь безопасностью в области блокчейн-технологий, в сфере ИТ работаю в общей сложности 17 лет.

В статье поговорим о проблемах безопасности блокчейн-проектов, пришедших из мира Web 2.0. В этой области отсутствует сложившаяся практика, поэтому в публичной плоскости крайне мало сведений о механизмах защиты, используемых этими проектами. Статья является более подробным вариантом доклада с прошедшего киберфестиваля Positive Hack Days 12 на эту же тему.

Опыт, накопленный при проведении пентестов, и понимание сетевых технологий помогли мне провести исследование атак на блокчейн-проекты, проведенных с использованием техник DNS hijacking и BGP hijacking.

Вы узнаете, как перехват пользовательского трафика приводит к тому, что пользователи теряют криптовалюту. Кроме того, в этой статье:

🔷 разберем, как злоумышленники проводили атаки на сетевом уровне (благодаря открытым данным восстановим многие шаги атак буквально по минутам);

🔷 декомпилируем смарт-контракты (далее — контракты) атакующих;

🔷 выясним, какие публичные механизмы защиты внедрили пострадавшие проекты и что с ними не так;

🔷 попробуем улучшить механизмы обнаружения рассмотренных атак и защиты от них, а также рассмотрим обозреватели блокчейнов (выясним, как найти в блокчейне контракты злоумышленника, зная только один из них);

🔷 поговорим о том, какие шаги необходимо предпринять держателям криптовалют, чтобы не стать очередными жертвами.

Привет! Меня зовут Александр Лебедев, я SRE в Samokat.tech. Мы строим надёжную платформу для сервисов быстрой доставки и в зону ответственности моей команды входят поддержка Kubernetes-кластеров и управление их ресурсами.

Под катом история о том, как мы пришли к своему варианту resource management через борьбу с овербукингом по CPU.

Дисклеймер: Сразу отмечу, что рассматриваю AI-инструменты в качестве мощного ускорителя работы и источника вдохновения, а не как полную замену продакт-менеджера. Да, с помощью ChatGPT или Notion AI можно генерировать идеи и вопросы для интервью, но принятие решения о дальнейших шагах и выбор путей реализации все равно остаются в компетенции специалиста.

Для решения задач автоматизации рутинных процессов для системных администраторов и DevOps чаще всего используются или bash-сценарии или python. Первое решение косвенно используется и в описании Dockerfile, поскольку сценарий исполняемых команд принципиально ничем не отличается от запуска скрипта в какой-либо shell, второй подход чаще ассоциируется с автоматизацией, связанных с взаимодействием с хранилищами данных. Но несправедливо было бы обойти стороной возможность создания исполняемых сценариев на языке Kotlin, которые могут стать полноценной заменой bash-сценариям.

В этой статье мы рассмотрим несколько примеров использования Kotlin Scripting (KTS) для автоматизации в распределенной системе, будем использовать долгоживущие скрипты с ожиданием заданий через RabbitMQ, а также поработаем с файловой системой, внешними сервисами, а также попробуем использовать KTS для сборки Docker-контейнеров.

В этом посте я хочу рассказать о своем опыте разработки технологии, которая управляет интеллектуальными решениями, используемыми в  промышленности, чтобы сделать их работу эффективнее и обнаружить скрытые выгоды для бизнеса.

Предыстория

Для начала приведу пример системы, которыми управляют классы продуктов, описываемых в статье.

Некоторое время назад я столкнулся с задачей оптимизации расхода ферросплавов (далее ФС). При производстве стали сталевары добавляют специальные вещества, ферросплавы, чтоб получить нужную марку с определенным химическим составом (см. схему с этапами ниже). Например, чтобы содержание Si в полученной стали было не менее 0.2 % (в технологической инструкции обычно указан диапазон, допустим от 0.2 до 0.3, но мы для простоты будем говорить только о нижней границе).

Привет, Хабр! Сегодня я хочу рассказать о нашем новом чат-боте ViTalk GPT. Он использует ИИ для генерации запросов на языке DAX, которые можно использовать в Visiology 3, причем учитывает не только особенности нашей платформы, но и контекст ваших запросов. О том как это работает, почему ViTalk GPT помогает переносить экспертизу не только из Power BI, в чем секрет создания “готовых” скриптов, которые можно просто вставлять в нужное поле в Visiology 3, и зачем вообще это нужно — читайте под катом.

Меня зовут Андрей Устьянцев, я ведущий аналитик направления Big Data в Лиге Цифровой Экономики. Эту статью я задумал как вторую в цикле материалов (первую об улучшении лендинга на основе метрик вы можете прочитать здесь). Сам текст будет полезен аналитикам, которым необходим более глубокий анализ данных о посетителях сайта, чем предоставляет стандартный интерфейс «Яндекс.Метрики». Или тем, кто хочет объединить данные из «Метрики» с другими источниками (например, из CRM) для визуализации, поиска инсайтов, проверки продуктовых гипотез etc.

Всем привет! В свободное от не-работы время я CTO собственной компании (DigitalWand), и как следствие – чем мне только ни приходится заниматься! И вот недавно один из наших клиентов посетовал на проблемы в своей внутренней кухне: мол, вирус положил внутренние сервисы, включая git и площадки для разработки. И тут мне вспомнилась собственная аналогичная проблема, которая произошла год тому назад. Вот эту страшилку и хотел бы рассказать. Думаю, будет полезна как начинающим сисадминам и девопсам, так и вообще людям, которые каким-то боком с линуксовыми серверами связаны, но серьёзного пороха ещё не нюхали.

Наши эксперты проанализировали актуальные киберугрозы за I квартал 2023 года. Исследование показало увеличение числа уникальных инцидентов и всплеск активности вымогателей, особенно в отношении научных и образовательных учреждений. Мы фиксируем появление большого числа фишинговых писем, связанных с трудоустройством, возникновение QR-фишинга и увеличение количества вредоносной рекламы.

DevOps- и SRE-командам важно знать как можно больше о работе приложений, за которые они отвечают: как эти приложения работают в разных условиях, как их показатели меняются со временем, в какой точке можно ускорить работу, тем самым улучшив показатели производительности и доступности сервисов. Для всех этих задач важны показатели наблюдаемости (observability). Реализовать наблюдаемость можно при помощи технологии eBPF, которой уже более 10 лет.

Чтобы легко адаптировать статистику eBPF и получать из нее полезную информацию, нужен дополнительный инструмент. Одним из них и является Open Source-решение Coroot. Coroot — это observability-инструмент, который превращает данные телеметрии в полезную информацию, помогая быстро выявлять и устранять проблемы с приложениями. В статье проверим, какие у него есть возможности.

Привет Хабр! Сегодня поговорим об основных практиках мониторинга в рамках SRE.

Если вы не можете найти никаких проблем, значит, их не существует! В контексте видимости систем можно предположить, что если мы не обнаружим никаких проблем, скорее всего, у нас есть слепое пятно.

Мне надо регулярно делать сотни дипломов для участников курса. Я настроил всё так, чтобы оно делалось само. Делюсь способом с вами.

Привет, Хабр! Сегодня хочу коснуться наболевшей для многих российских компаний темы — замена зарубежного софта на доступное альтернативное. Так как я специализируюсь на системном ПО, все чаще я сталкиваюсь с подобными запросами по части СУБД.  

Эта статья — мой обзор 6 СУБД из реестра отечественного ПО, которые можно использовать вместо MS SQL, Oracle и других. Каждую из них мы с командой К2Тех устанавливали и настраивали ручками. И в итоге убедились, что все они представляют собой действительно качественные продукты, на которых можно работать с большими объемами данных. Итак, представляем вам альтернативную «шестерку» СУБД под катом!