Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

Мониторинг в Apache NiFi. Часть вторая

Блог компании Neoflex Apache *Big Data *

Задачи отчетности (Reporting Tasks)

В первой статье мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi. Теперь рассмотрим, как передать необходимые метрики и отчеты об ошибках и состоянии кластера во внешние системы. NiFi предоставляет возможность сообщать о состоянии, статистике, показателях и информации мониторинга внешним службам с помощью интерфейса задач отчетности (Reporting Task).

Apache NiFi предоставляет несколько вариантов задач отчетности для поддержки внешних систем мониторинга, таких как AmbariGrafana, Prometheus и т. д. Разработчик может создать пользовательскую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi во внешние системы мониторинга.

Читать далее
Рейтинг 0
Просмотры 447
Комментарии 0

Новости

Как мы искали свой Vector в построении высоконагруженной системы логирования

Блог компании СберМегаМаркет DevOps *

Логов много не бывает, а если бывает?! Расскажем, как мы внедряли новую систему логирования на основе EFK (Elasticsearch-Fluetnd-Kibana), как страдали, когда FluentD перестал держать нагрузку, как мы переходили на Fluentbit (спойлер: неудачно) и почему смогли найти свой Vector. А в конце дадим пару советов о культуре логирования: как к ней относиться, чтобы не страдали вы, ваши коллеги, тестировщики и разработчики. 

Этот пост — расшифровка доклада, который мы представили на конференции HighLoad++ Foundation 2022 в Москве. Видео можно найти по ссылке, а здесь — почитать доклад и посмотреть слайды из презентации. 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 587
Комментарии 2

PostgreSQL, что в логе твоем?

Блог компании Тензор PostgreSQL *Анализ и проектирование систем *Администрирование баз данных *Визуализация данных *

Наверняка, многие из вас пользуются explain.tensor.ru - нашим сервисом визуализации PostgreSQL-планов или уже даже развернули его на своей площадке. Но визуализация конкретного плана - это лишь небольшая помощь разработчику, поэтому в "Тензоре" мы создали сервис, который позволяет увидеть сразу многие аспекты работы сервера: медленные или гигантские запросы, возникающие блокировки и ошибки, частоту и результаты проходов [auto]VACUUM/ANALYZE.

И сегодня мы, наконец, готовы представить вам демо-режим этого сервиса, куда вы самостоятельно можете загрузить лог своего PostgreSQL-сервера и наглядно увидеть, чем он у вас занимается.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 1K
Комментарии 0

Приручение черного дракона. Этичный хакинг с Kali Linux. Часть 5. Способы получения доступа к системе с Metasploit

Настройка Linux *Информационная безопасность *

Приветствую тебя, дорогой читатель, в пятой части серии статей «Приручение черного дракона. Этичный хакинг с Kali Linux».

В прошлый раз мы поговорили о приемах активного футпринтинга, а именно, о методах сканирования целевых ресурсов, и познакомились с таким замечательным инструментом, как сетевой сканер nmap. Сегодня мы разберем следующую важную фазу — получение доступа к системе и поговорим о таких вещах, как эксплоиты (exploits), полезная нагрузка (payload), а так же познакомимся с инструментом, который нам поможет автоматизировать рутинные задачи связанные с поиском и эксплуатацией уязвимостей под названием Metasploit Framework.

Почему же именно Metasploit и что в нем такого особенного, что он является самым популярным инструментом в арсенале любого специалиста информационной безопасности на различных этапах проверок? Попробуем разобраться в этом вопросе. И начнем мы с погружения в теорию.

Metasploit Framework – представляет из себя комплексный инструмент автоматизации процесса эксплуатации уязвимостей ПО и операционных систем различной архитектуры.

Модули входящие в состав Metasploit можно разделить на следующие несколько категорий:

Эксплоиты (Exploits) - компьютерная программа, фрагмент программного кода или последовательность команд, использующие уязвимости в программном обеспечении и применяемые для проведения атаки на вычислительную систему. Целью атаки может быть как захват контроля над системой (повышение привилегий), так и нарушение её функционирования (DoS-атака).

По типу исполнения можно выделить два вида эксплоитов:

Удалённый эксплойт – работает через сеть и использует уязвимость в защите без какого-либо предварительного доступа к атакуемой системе;

Локальный эксплойт – запускается непосредственно в уязвимой системе, требуя предварительного доступа к ней.

Пэйлоады (Payloads) – это некий код, который выполняется после эксплоита. В основном используется для настройки связи между жертвой и атакующим.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 987
Комментарии 0

Байки из облака: три обыкновенных истории из жизни Cloudflare

Информационная безопасность *IT-инфраструктура *IT-компании
Мегапроект

Привет, Хабр.

Обычно пост — это о чём-то из ряда вон выходящем. О каких-то нестандартных кейсах, неочевидных особенностях, марианских глубинах. Автор удивляется и спешит поделиться удивлением с читателем. Однако опыт у всех разный: что одному рутина, другому приключение.

В этом посте мы собрали три обыденных случая. Никакой шпионской драмы, никаких внезапных поворотов сюжета, в финале предсказуемый хэппи-энд. Вопреки традициям научной фантастики, технологии причиняют людям добро и не имеют зловещих побочных эффектов. Будет ли вам такое интересно? Есть простой способ выяснить.

Выяснить
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 1.8K
Комментарии 6

Введение в блокчейн-игры

Децентрализованные сети *Разработка игр *Терминология IT Читальный зал Криптовалюты

Прежде чем начать рассказывать о блокчейн-играх, я расскажу, для кого эта статья. Если вы опытный геймдевелопер и сами работаете с внедрением блокчейн-элементов в игры, то эта статья вряд ли будет для вас информативной. Статья написана для тех, кто только погружается в эту сферу, кто часто слышал выражения “блокчейн-игры” и “NFT в играх”, но не вполне понимал принципы их работы, и кому интересно понять основы этого широко обсуждаемого направления.  Несмотря на обилие новостей по этой теме, материалов, посвященных введению в блокчейн-игры, не так много, поэтому людям зачастую непросто разобраться в основах. Я решила написать эту статью как раз для таких случаев; именно такого разбора мне самой не хватало некоторое время назад, когда я начинала свое погружение в блокчейн-игры. Статья не ставит целью поддержку или неодобрение блокчейн-игр, а призвана ознакомить читателей с их механикой и принципами работы.

Читать далее
Всего голосов 11: ↑7 и ↓4 +3
Просмотры 765
Комментарии 10

История о том, как мы монолит с .NET Framework на .NET 6 и Kubernetes переводили

Блог компании Dodo Engineering Анализ и проектирование систем *.NET *IT-инфраструктура *Управление разработкой *

В 2011 году 2 разработчика начали создавать свою информационную систему, чтобы через неё принимать заказы в Додо Пицце. 2 года назад мы рассказывали про раннюю архитектуру Dodo IS здесь и здесь. За это время монолит нашей системы пережил немало изменений, самое значительное произошло в этом году — мы перевели его весь на .NET 6 и переехали в Kubernetes. Переход оказался непростой задачей и длился в общей сложности год.

В этой статье поделимся деталями этого масштабного проекта, расскажем об особенностях монолита, которые усложняли переход, и об улучшениях, которые избавили от многих болей наших разработчиков.

Читать далее
Всего голосов 18: ↑18 и ↓0 +18
Просмотры 1.4K
Комментарии 4

Инструмент разработчика Ruby on Rails на базе NeoVim (nvim)

Настройка Linux *VIM *Ruby on Rails *
Из песочницы

Вашему вниманию конфигурационный файл с плагинами для комфортной разработки под Ruby on Rails и не только.

Более года собирался данный конфигурационный файл, удалялись или устанавливались разные плагины и проходили обкатку. в результате теперь комфортно работать в "самом" быстром редакторе.

Читать далее
Всего голосов 3: ↑1 и ↓2 -1
Просмотры 575
Комментарии 2

На что похож ИТ-ландшафт обычного банка в России

Блог компании Home Credit Bank IT-инфраструктура *Управление разработкой *Управление проектами *Финансы в IT

Речь про обычный розничный банк, как вы понимаете

ИТ-ландшафт чаще всего повторяет оргструктуру и отражает исторические процессы. Например, мы запускали банк в 2002 году, когда вообще все банки в России, пожалуй, кроме Сбера, были ориентированы на юрлиц. Возможно, сейчас это будет уже немного тяжело вспоминать, но банковского пластика почти не было, было много кеша. Соответственно, архитектура банка тех лет была заточена под юрлиц, то есть большие разовые транзакции, которые можно обрабатывать чуть ли не руками.

Ядро любого банка — АБС. Это движок, который, например, ведёт главную книгу счетов банка, выполняет бухгалтерские операции и формирует бухгалтерскую отчётность. У нас эта АБС от компании Кворум. Учитывая давний год рождения, первичная задача АБС тогда была вести учёт и формировать отчётность, которую жёстко требовал ЦБ, и делать, собственно, расчёты. Без этих двух вещей банк работать не может. Чуть позже мы стали заниматься картами, а у Кворума тогда не было карточного модуля, поэтому мы завели ещё и вторую АБС TranzWare. Обычно в банковском ландшафте это выглядит так: либо поверх старого «движка» вешается более новый карточный модуль, либо же сразу «из коробки» используется АБС с картами.

В нашем случае мы интегрировали две АБС, поделив их по продуктам. Сама необходимость отдельной АБС для карт обуславливалась тем, что тогдашняя архитектура не была готова к большому количеству транзакций, по которым нужно было отвечать чуть ли не в реальном времени. Из железа у нас в этот период были x64-машины IBM, причём чуть позже с ростом нагрузки появилась одна, вообще индивидуально собранная под нас.

Интегрировались они тогда напрямую без всяких промежуточных шин и брокеров. Ну, знаете, вот это «мои файлы — твои файлы, мой дом — твой дом».

С тех пор кое-что поменялось, конечно.
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры 1.5K
Комментарии 8

Аналитики Axenix (ex-Accenture) сопоставили возможности российских и зарубежных BI-платформ

Блог компании Visiology Визуализация данных *Хранение данных *Исследования и прогнозы в IT *

Могут ли российские BI-платформы все-таки заменить зарубежные системы? Мы много раз возвращались к этому вопросу, потому что сегодня именно он интересует и даже беспокоит многих руководителей. И, наверное, все уже знают, что могут, но не во всем. Но чего именно не хватает российским BI-системам, и кто смог создать наиболее функциональное решение на сегодняшний день? Подробности под катом.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 411
Комментарии 0

Бэкап CommuniGate Pro: как мы сделали резервную копию коммуникационной платформы надежной

Блог компании Киберпротект Информационная безопасность *Восстановление данных *Резервное копирование *Хранение данных *

Привет, Хабр! 

Сегодня я хочу рассказать о том, как работает резервное копирование сервера CommuniGate Pro, если делать его с помощью Кибер Бэкап 15. Под катом — схема взаимодействия наших решений, а также подробности о том, как работает бэкап-агент в наиболее сложных для него ситуациях.

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 426
Комментарии 0

Учимся настраивать свою почту, не наступая на чужие грабли: Postfix + msmtp + сайт

Блог компании ИНТЕРВОЛГА Спам и антиспам Разработка веб-сайтов **nix *DevOps *
Tutorial

Привет, меня зовут Никита, я backend-разработчик в компании ИНТЕРВОЛГА. Работаю в компании уже 3 года, и за этот срок достаточно часто мне приходилось возиться с установкой и конфигурированием собственного почтового сервера для разных задач (см. далее) клиентов. 

Сначала это было болью, каждая такая задача требовала понимания проблем каждого клиента, путей их решения, принципов работы почтового сервера и способов его тестирования, чего в начале карьеры у меня не было. В итоге приходилось по крупицам собирать информацию о составных частях поставленной задачи из различных источников. 

В этой статье хотелось бы поделиться накопленным опытом, описать возможные трудности и подводные камни, с которыми можно столкнуться в похожих кейсах, и показать некую roadmap решения.

Путь начинается с того, как с нуля, по вводным условиям определить объем работ, и заканчивается финальной реализацией почтового сервера и его тестированием.  

Я не видел в Сети и на Хабре цельной инструкции такого рода — и решил написать свою.

Статья не претендует на то, чтобы рассказать про всё сразу и максимально подробно (сомневаюсь, что это реализуемо). Наоборот, я стремился описать сложные и комплексные вещи простым языком. Слишком обширные темы, уже давно разобранные сообществом, я опускал. Главной целью было дать новичку, который закопается в дебрях “почтовых интриг”, указатель, в какую сторону копать при возникновении типовых вопросов и проблем. Надеюсь, что эта статья окажется полезной и найдет своего читателя. Приступим!

Читать подробнее
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 1.4K
Комментарии 7

Доступ к VM в разных облаках по RDP и SSH (Windows и Linux)

Блог компании RUVDS.com Системное администрирование *Серверное администрирование *DevOps *Google Cloud Platform *

IAP Desktop — полезная программа под Windows, которая управляет несколькими удалёнными десктопами и устанавливает туннели SSH/RDP к разным виртуальным машинам под Linux и Windows. Она сочетает преимущества стандартного менеджера RDP-соединений с безопасностью и гибкостью Identity-Aware Proxy (IAP-прокси).

В 2022 году такой инструмент очень актуален, с распространением облачных сервисов и хостингов, где могут крутиться наши виртуальные машины и контейнеры. А также в связи с необходимостью удалённого доступа по RDP и SSH к разным корпоративным виртуалкам.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры 1.2K
Комментарии 4

Виртуализация на oVirt в крупнейшем ритейлере, или Любовь придумали, чтобы денег не платить

Блог компании Инфосистемы Джет Виртуализация *ERP-системы *

Это было в 2016 году. У одного крупнейшего в России ритейлера стояла глобальная задача перейти на новую ERP-систему. Поскольку основные усилия были сосредоточены на перестроении бизнес-процессов, заказчик решил отдать задачи по ИТ на аутсорс и обратился к нам. Мы предложили ему комплексную услугу по аутсорсингу и аренде инфраструктуры, куда входили СХД, СРК, СУБД, виртуализация, физические серверы, сетевая инфраструктура.

После того, как завершился начальный этап внедрения продуктива, выявились ряд проблем, которые потенциально могли влиять на производительность и отказоустойчивость созданной системы. И таким «узким местом» стала виртуализация. О том, почему мы решили уйти от enterprise-решения на Open Source, а также почему этот опыт в текущих реалиях может быть полезным, мы и собираемся рассказать в сегодняшнем посте.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 974
Комментарии 3

Тоссим руду: очень неочевидная ИТ-задача

Блог компании Группа НЛМК Управление проектами *Инженерные системы *

Дробилка с выдвигаемым конусом

Сначала в карьере весело бахает инженерный заряд, а потом к нам приезжает поезд с рудой. Это здоровенные камни, которые надо раздробить на части, а части перетереть в щебень, а щебень потом — в песок. На каждом этапе, если дробить слишком мелко, то будет перерасход энергии и износ машин, а если слишком крупно — этот перерасход и износ лягут на следующий этап.

Это чистая оптимизационная задача: надо дробить в заданном коридоре и всем будет счастье. Проблема в том, что мы не знаем, слишком мелко мы дробим или слишком крупно. Конвейер огромный, едет со скоростью 3,15 метра в секунду, глазами люди там ничего отличить не могут. А нужно знать фракционный состав руды.

Советские инженеры это решили специальным ведром, которое зачерпывает руду раз в 24 минуты и кладёт в тестовый бункер. Через каждые пять зачерпываний бункер опустошается на несколько сит, просеивается, и после этого человек взвешивает, сколько руды осталось на каждом из них. Так мы получали данные механическим способом раз в два часа.

И тут такие приходим мы из ИТ и говорим производству: а хотите в реальном времени? Производство сначала крутит пальцем у виска, а потом говорит, что хочет. Потому что цена эффекта — 115 миллионов рублей в год.
Читать дальше →
Всего голосов 85: ↑85 и ↓0 +85
Просмотры 6.3K
Комментарии 49

Дегустация Argo Rollouts: обзор решения, часть 1

Блог компании МТС Системное администрирование *Тестирование веб-сервисов *DevOps *Kubernetes *

Всем привет! Меня зовут Евгений Симигин, я занимаюсь внедрением DevOps-практик в Центре компетенций по разработке облачных и интернет-решений МТС Digital. В этой статье – обзор Argo Rollouts, я покажу несколько примеров применения и отмечу интересные места в документации. Хотите быстро освоить Argo Rollouts и разобраться в этом решении? Тогда жмите кнопку «Читать далее»!

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 557
Комментарии 0

Как аккуратно записать гифку с консоли

Блог компании SkillFactory Open source *Тестирование IT-систем *Программирование *DevOps *
Перевод



Помните, как вы пытались записать демонстрацию CLI-инструмента? К старту нашего курса по DevOps делимся материалом о том, как записывать гифки с консоли кодом, чтобы тестировать сборки ПО и показывать ваши консольные инструменты.

Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 1.3K
Комментарии 1

Изучаем инструменты для работы с ARP протоколом

Блог компании OTUS Информационная безопасность *Сетевые технологии *
Recovery mode

Статья расскажет об очень простом протоколе, который может быть использован для атак на сети. Рассмотрим из чего состоит протокол и какие инструменты есть для работы с ним.

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 1.9K
Комментарии 1

PostgreSQL для звездочетов

Блог компании OTUS PostgreSQL *Администрирование баз данных *Астрономия

Свободная СУБД PostgreSQL известна не только как высокопроизводительное решение для выполнения запросов и хранения данных в реляционной модели, но также своим механизмом расширения, который позволяет создавать дополнительные функции, типы данных, индексы и иные структуры данных для разных предметных областей. В этой статье мы рассмотрим некоторые подходы к сохранению и обработки данных астрономических каталогов (альманахов) с использованием возможностей PostgreSQL.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 1.6K
Комментарии 2

Построение сложных маршрутов в Apache Camel с помощью компонента Direct

Разработка веб-сайтов *Java *Apache *

В данной статье я бы хотел раскрыть тему создания сложных маршрутов в Apache Camel с помощью компонента Direct.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 471
Комментарии 3

Истории