Как стать автором
Обновить

RED-метод для анализа производительности MySQL

Время на прочтение3 мин
Количество просмотров5.1K
Перевод статьи подготовлен в преддверии старта курса «DevOps практики и инструменты».





Метод RED (Rate, Errors, Duration) является одним из популярных подходов к мониторингу производительности. Он часто применяется для мониторинга микросервисов, хотя ничего не мешает использовать его для баз данных, таких как MySQL.

В Percona Monitoring and Management (PMM) v2 вся необходимая информация собирается в базу данных ClickHouse, и дальше уже дело техники с помощью встроенного источника данных ClickHouse создать дашборд для визуализации метрик.

При создании дашборда помимо панелей для RED были добавлены несколько дополнительных панелей, чтобы показать некоторые интересные вещи, которые можно сделать с Grafana + ClickHouse в качестве источника данных и информацией, которую мы храним о производительности запросов MySQL.

Давайте посмотрим на дашборд внимательнее.
Читать дальше →
Всего голосов 7: ↑4 и ↓3+1
Комментарии0

Автоматизация нагрузочного тестирования: связка Jmeter + TeamCity + Grafana

Время на прочтение4 мин
Количество просмотров17K


Изображение: Flickr

В нашем блоге на Хабре мы продолжаем рассказывать о построении DevOps-культуры в компании — например, в одном из последних топиков мы описывали то, какие задачи решаем с помощью системы SaltStack. Сегодня речь пойдет о другой интересной теме — автоматизации нагрузочного тестирования с помощью связки нескольких готовых инструментов.
Всего голосов 25: ↑25 и ↓0+25
Комментарии5

Мониторинг вашей инфраструктуры с помощью Grafana, InfluxDB и CollectD

Время на прочтение7 мин
Количество просмотров26K


У компаний, которым необходимо управлять данными и приложениями на более чем одном сервере, во главу угла поставлена инфраструктура.

Для каждой компании значимой частью рабочего процесса является мониторинг инфраструктурных узлов, особенно при отсутствии прямого доступа для решения возникающих проблем. Более того, интенсивное использование некоторых ресурсов может быть индикатором неисправностей и перегрузок инфраструктуры. Однако мониторинг может использоваться не только для профилактики, но и для оценки возможных последствий использования нового ПО в продакшне. Сейчас для отслеживания потребляемых ресурсов на рынке существует несколько готовых к использованию решений, но с ними, тем не менее, возникают две ключевые проблемы: дороговизна установки и настройки и связанные со сторонним ПО вопросы безопасности.
Читать дальше →
Всего голосов 6: ↑5 и ↓1+7
Комментарии9

Мониторинг сервисов Carbonio

Время на прочтение4 мин
Количество просмотров1.9K

Корректная работа каждого из узлов Carbonio - залог корректной работы всего почтового сервера. Для того, чтобы обеспечить максимально быстрое реагирование на сбои и заблаговременно выявлять предпосылки к их возникновению, необходимо ведение постоянного мониторинга состояния различных узлов Carbonio. В данной статье мы расскажем о том, как организовать такой мониторинг и как использовать его для обеспечения надежной работы почтового сервера.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Мониторинг кластера Kubernetes: общий обзор и знакомство с Prometheus

Время на прочтение6 мин
Количество просмотров14K

Рассмотрим концепцию мониторинга Kubernetes, познакомимся с инструментом Prometheus, поговорим про алёртинг.


Тема мониторинга объёмная, за одну статью её не разобрать. Цель этого текста — дать обзорное представление по инструментарию, концепциям и подходам.


Материал статьи — выжимка из открытой лекции школы «Слёрм». Если хотите пройти полное обучение — записывайтесь на курс по Мониторингу и логированию инфраструктуры в Kubernetes.


Читать дальше →
Всего голосов 12: ↑10 и ↓2+9
Комментарии3

Grafana+Zabbix: Визуализация работы производственной линии

Время на прочтение6 мин
Количество просмотров71K

В этой статья я хочу поделиться опытом использования open source систем Zabbix и Grafana для визуализации работы производственных линий. Информация может быть полезна тем, кто ищет быстрый способ визуального отображения или аналитики собранных данных в проектах промышленной автоматизации или IoT. Статья не является подробным руководством, это скорее концепция системы мониторинга, основанная на открытом программном обеспечении для производственного предприятия.

Читать дальше →
Всего голосов 17: ↑17 и ↓0+17
Комментарии7

Как мониторить Jenkins с помощью Prometheus, Node exporter и Grafana

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров5.7K

Перевели туториал, о том как установить и настроить связку Prometheus, Node Exporter и Grafana для Jenkins. Статья будет полезна тем, кто учится выставить системы мониторинга с помощью этих инструментов.

Читать далее
Всего голосов 6: ↑5 и ↓1+6
Комментарии11

Excel vs Grafana: Автоматизация дежурств

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров11K

Привет, Хабр! Меня зовут Ахмед, я Deputy CTO в Сравни. 

Сегодня расскажу вам об опыте управления дежурствами в ИТ-команде.

Представьте: вы нашли баг на проде; хотите рассказать о находке коллегам, которые отвечают за эту функциональность. Идёте в рабочий мессенджер, пишете в канал или групповой чат соответствующей команды.

Читать далее
Всего голосов 19: ↑19 и ↓0+19
Комментарии13

Проект юного DevOps Глава 2: Настройка центра сертификации и репозитория

Уровень сложностиСредний
Время на прочтение23 мин
Количество просмотров7.4K

В данной серии статей описан процесс создания первого pet-проекта для начинающего инженера в DevOps:

Глава 1: Введение и подготовка стенда

Глава 2: Настройка центра сертификации и репозитория

Глава 3: Настройка OpenVPN

Глава 4: Настройка мониторинга

Читать далее
Всего голосов 2: ↑1 и ↓10
Комментарии3

Мониторим Спортмастер — как и чем

Время на прочтение9 мин
Количество просмотров7.6K
О создании системы мониторинга мы задумались на этапе формирования продуктовых команд. Стало понятно, что наше дело — эксплуатация — в эти команды никак не попадает. Почему так?

Дело в том, что все наши команды построены вокруг отдельных информационных систем, микросервисов и фронтов, поэтому общее состояние здоровья всей системы в целом команды не видят. Например, они могут не знать, как какая-то небольшая часть в глубоком бэкенде влияет на фронтовую часть. Круг их интересов ограничивается системами, с которыми интегрирована их система. Если же команда и её сервис А почти никак не связан с сервисом Б, то такой сервис для команды почти невидим.



Наша же команда, в свою очередь, работает с системами, которые очень сильно интегрированы между собой: между ними множество связей, это весьма большая инфраструктура. И от всех этих систем (которых у нас, к слову, огромное количество), зависит работа интернет-магазина.

Вот и получается, что наш отдел не относится ни к одной команде, а находится немного в стороне. Во всей этой истории наша задача — понимать в комплексе, как работают информационные системы, их функциональность, интеграции, ПО, сеть, железо, и как все это связано между собой.
Читать дальше →
Всего голосов 9: ↑8 и ↓1+11
Комментарии17

Система визуализации и мониторинга. Grafana + Prometheus

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров27K

Немного расскажу про установку Grafana на windows и настройку базовых метрик систем.

Пару слов о самой Grafana и для чего она нужна.

Grafana – это платформа для мониторинга, анализа данных и визуализации собранных данных с открытым исходным кодом. По сути она используется для визуального представления собранных метрик для более комфортного слежения за состоянием системы.

В данной статье буду использовать:

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Комментарии14

1.1.Переписываем наш Object Cloud

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.5K

Привет всем, Мы в прошлой части сделали огромный первый шаг в NixOS,сделав набросок, чего мы хотим от системы и немного пробежались по одному из вариантов описания конфигурации системы ,какой мы ее видим после ребилда, а сейчас нам осталось немного ее доделать, в некоторых местах улучшить codestyle ,что бы можно было уже переходить с чистой душой дальше, уже в сторону контейнеров и виртуальных машин и встроенных средств ,которые предоставляют деплой.

Читать далее
Всего голосов 5: ↑4 и ↓1+6
Комментарии0

Мой опыт перевода Grafana под управление Terraform или что делать если надоело тыкать на кнопки в GUI

Уровень сложностиСредний
Время на прочтение21 мин
Количество просмотров6K

Вам сказали развернуть систему мониторинга, вы выбрали связку Prometheus + Grafana. Развернули Grafana на своих серверах (VM/Docker/Kubernetes) и подключили Data Source Prometheus (а возможно вам еще сказали развернуть логирование и вы используете Grafana Loki) и далее по гайдам из ютуба начали создавать свои дашборды и настраивать алерты.

Все работает идеально, но в один момент вы начинаете думать о том, чтобы хранить созданные сущности Grafana в коде, чтобы их можно было легко восстановить в случае потери данных или же развернуть при создании новой среды (dev/prod). Экспортировать дашборды не составит труда, это можно сделать и через GUI, но как же источники данных, политики уведомлении, contact points и сами алерты?

Знакомая история? Возможно, что нет. А у меня да!

Читать далее
Всего голосов 14: ↑14 и ↓0+14
Комментарии11

Релиз новой версии плагина DevOpsProdigy KubeGraf для мониторинга kubernetes-кластеров в Grafana

Время на прочтение2 мин
Количество просмотров2.9K
Коллеги, всем привет!

На этой неделе состоялся релиз очередной версии нашего плагина DevOpsProdigy KubeGraf v1.4.0. Он разработан для Grafana и предназначен для мониторинга kubernetes-кластеров и приложений в них.

Итак, что нового в версии 1.4.0:

Читать дальше →
Всего голосов 13: ↑13 и ↓0+13
Комментарии0

Дополняя SQL. Часть 4. Работа с исключениями, влияние данных на процесс разработки. Использование ML.NET

Время на прочтение6 мин
Количество просмотров1.5K

Что будет в этой статье?


Это заключительная статья в цикле о жизни разработчиков IDE для баз данных. В этой части я расскажу, о том, как внедрение продуктовой аналитики повлияло на некоторые аспекты разработки.

Для понимания этой статьи не обязательно читать все три предыдущие, но будет полезно прочитать несколько первых параграфов первой части, так как они дают представление о контексте. Впрочем, вот некоторые тезисы, если нет возможности ознакомится с первой статьей:

  • Мы делаем линейку IDE для СУБД MySQL, SQL Server, Oracle, PostgreSQL
  • Это настольное приложение на .NET стеке со всеми вытекающими
  • Парсинг SQL это сложная задача в плане производительности и памяти. Постоянно приходится применять разные трюки для оптимизации

Ссылки на предыдущие статьи цикла:

Часть 1. Сложности парсинга. Истории о доработке ANTLR напильником
Часть 2. Оптимизация работы со строками и открытия файлов
Часть 3. Жизнь расширений для Visual Studio. Работа с IO. Необычное использование SQL
Часть 4. Работа с исключениями, влияние данных на процесс разработки. Использование ML.NET


Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Комментарии0

4 инженера, 7000 серверов и одна глобальная пандемия

Время на прочтение7 мин
Количество просмотров8.2K
Привет, Хабр! Представляю вашему вниманию перевод статьи «4 Engineers, 7000 Servers, And One Global Pandemic» автора Adib Daw.

Если этот заголовок не вызвал легкую дрожь в позвоночнике, вам следует перейти к следующему абзацу или перейти на нашу страницу, посвященную карьере в компании — мы хотели бы поговорить.

Кто мы


Мы команда из 4 пингвинов, которые любят писать код и работать с оборудованием. В свободное время мы отвечаем за развёртывание, обслуживание и эксплуатацию парка из более 7000 физических серверов под управлением Linux, распределенных по 3 разным дата-центрам на территории США.

Нам также довелось заниматься этим на расстоянии 10 000 км от объектов, не выходя из нашего собственного кабинета, который расположен в нескольких минутах езды от пляжа на Средиземном море.
Читать дальше →
Всего голосов 10: ↑9 и ↓1+14
Комментарии2

Мониторинг и логирование внешних сервисов в кластер Kubernetes

Время на прочтение3 мин
Количество просмотров5.6K
image

Доброго всем.

Я не нашел в сети обобщенного руководства по логированию и сбору метрик со сторонних сервисов в системы развернутые в Kubernetes. Публикую свое решение. Данная статья подразумевает, что у вас уже имеется рабочий Prometheus и другие службы. В качестве примера источника данных внешнего stateful-сервиса будет использоваться СУБД PostgreSQL в контейнере Docker. В компании используется пакетный менеджер Helm, ниже по тексту будут примеры на нем. Для всего решения мы готовим собственный чарт, включающий в себя вложенные чарты всех используемых сервисов.
Читать дальше →
Всего голосов 7: ↑1 и ↓6-5
Комментарии15

Как визуализировать ежедневные траты на облачные решения GCP

Время на прочтение10 мин
Количество просмотров2K

Клиенты не любят платить больше, чем планировалось — подробное обоснование расходов неотъемлемая и важная часть внедрения облачных технологий.

Google Cloud Platform предоставляет различные тарифные планы для используемых ресурсов. Например, стоимость GCE зависит от конфигурации компьютера (CPU, память, сетевые модули, жесткие диски). Расходы на Google Kubernetes Engine (GKE) и Google Cloud Dataproc основываются на всех узлах, которые работают в Google Compute Engine (GCE). Остальные затраты могут вычисляться по сложной и замысловатой формуле. Планировать бюджет становится всё сложнее, особенно если вы пользуетесь несколькими облачными технологиями. Мониторинг и своевременное информирование становятся тем ценнее по мере увеличения трат на инфраструктуру.

Возможность ежедневной проверки отчетов о тратах так же позволит своевременно скорректировать распределяемые мощности, а итоговый счет в конце месяца не вызовет удивления.
Читать дальше →
Всего голосов 2: ↑1 и ↓1+1
Комментарии12

Monitoring and Logging external services in Kubernetes

Время на прочтение3 мин
Количество просмотров3.2K
image

Greetings to all!

As a matter of fact I haven't found so far any generalized guide on logging and monitoring of metrics from external systems to Kubernetes on the web. Here I want to share with you my own version. First of all it is supposed that you have already got working Prometheus and other services.

As an example I use third-party data for stateful service RDBMS PostgreSQL in a Docker container. In our company we also use the Helm package manager, and you'll find how it works below. You can see same examples in this article below. You can see same examples in this article below. For a complete solution we create a nested chart.
Read more →
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

Будь всегда в курсе: мониторим сертификаты с помощью Prometheus и Telegram

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров11K

Почему важно следить за сертификатами: сертификаты – это канал доверия между вашими системами и пользователями. Если канал рушится, доверие пропадает. И это может привести к невиданным техническим и, что еще хуже, бизнес-проблемам.

Поэтому, поговорим о том, как сохранить репутацию, удержать клиентов и обезопасить свой бизнес от неожиданных "сюрпризов" с помощью мониторинга.

Читать далее
Всего голосов 5: ↑4 и ↓1+3
Комментарии13