![](http://webcf.waybackmachine.org/web/20210616042405im_/https://habrastorage.org/getpro/habr/avatars/201/4b6/a2d/2014b6a2d5845d6e04b0e9464d05f97c.jpg)
Проблемы мониторинга дата-пайплайнов и как я их решал
![](https://webcf.waybackmachine.org/web/20210616042405im_/https://habrastorage.org/getpro/habr/upload_files/ab8/dd4/34c/ab8dd434ccf630b8f3a36db8dbfe7d28.jpeg)
Мониторинг - сложная, но необходимая часть разработки, она становится вдвойне сложней, когда мониторить надо не просто технические вещи, а их фактический смысл для бизнеса.
Данные, собранные и трансформированные в дата-пайплайнах очень часто поступают сразу к аналитикам и к другим людям, принимающим бизнес-решения, так что мониторинг таких вещей должен быть удобен не только инженерам, но и для других людей, которым важно знать, можно ли доверять данным и есть ли какие-то проблемы с их обработкой.
О том, какие проблемы со сбором и обработкой данных бывают, как избежать ложных алертов и как я делал мониторинг на основе событий максимально понятным и прозрачным для бизнеса, я и приглашаю почитать в этой статье.