![](http://webcf.waybackmachine.org/web/20211023105821im_/https://habrastorage.org/getpro/habr/avatars/2d6/021/437/2d6021437a053974aa77c27f4ea03453.jpg)
A-B тесты в рассылках (и не только): когда зафиксированные улучшения ведут к ухудшению
- Блог компании SuperJob,
- Тестирование веб-сервисов,
- Веб-аналитика,
- Повышение конверсии,
- Email-маркетинг
![](https://webcf.waybackmachine.org/web/20211023105821im_/https://habrastorage.org/getpro/habr/upload_files/1c1/54c/c46/1c154cc46c0b6ec06b8594178e2d4945.png)
Привет, меня зовут Александра Хорошкова, я менеджер проектов по рассылкам в SuperJob. Каждый день наши email-сообщения получают миллионы пользователей. Эта аудитория даёт отличную возможность для быстрого тестирования гипотез, поскольку позволяет за короткий период провести необходимое количество экспериментов и понять, есть ли статистически значимые отличия между разными вариантами.
В этом посте хочу поделиться опытом оптимизации нашей самой массовой рассылки – «Горячих вакансий», на которую подписаны 5,5 млн пользователей, то есть практически каждый наш активный соискатель. Точнее кейсом, когда серия позитивных изменений может неожиданно привести к негативному результату, и что нужно делать, чтобы это побороть.