A/B-тестирование: как проверять изменения на реальных пользователях

A/B-тест — это эксперимент, в котором пользователей случайно делят на группы: одна видит текущую версию, другая — изменённую, а затем сравнивают целевую метрику. Это единственный надёжный способ понять, улучшило ли изменение результат или он вырос по другой причине. Тест имеет смысл, когда трафика достаточно, гипотеза сформулирована заранее, а размер выборки рассчитан до запуска.

Разберём, как подготовить тест, сколько нужно пользователей, какие ошибки делают результаты ложными и как реализовать тесты технически.

Зачем нужны A/B-тесты?

Без эксперимента невозможно отделить эффект изменения от сезонности, рекламы, новостей и случайных колебаний. Конверсия выросла после редизайна — но, может быть, в эту же неделю стартовала акция. A/B-тест показывает обе версии одновременно в одинаковых условиях.

• проверка гипотез — решения принимаются на данных, а не по вкусу;
• защита от вреда — изменение, которое ухудшает показатели, не уходит на всех;
• измерение эффекта — видно, насколько именно изменилась метрика;
• обучение — команда узнаёт, что действительно влияет на пользователей.

Как подготовить A/B-тест?

Подготовка важнее самого запуска. До начала теста нужно записать гипотезу, основную метрику, защитные метрики и требуемый размер выборки — иначе после теста легко найти «подходящий» результат среди десятков показателей.

Элемент	Пример
Гипотеза	Если показывать сроки доставки в карточке товара, больше пользователей добавят товар в корзину
Основная метрика	Доля сессий с добавлением в корзину
Защитные метрики	Средний чек, доля возвратов, скорость загрузки страницы
Минимальный эффект	+3% к основной метрике
Аудитория	Все новые посетители каталога на сайте
Длительность	Две полные недели, чтобы покрыть разные дни

О выборе метрик — статья продуктовые метрики после запуска.

Фото: Unsplash

Сколько нужно пользователей и времени?

Размер выборки зависит от текущего значения метрики и от того, насколько маленький эффект вы хотите обнаружить. Чем меньше эффект, тем больше нужно пользователей: чтобы заметить рост конверсии с 3% до 3,3%, нужны десятки тысяч посетителей в каждой группе.

Правила:

1. Рассчитайте размер выборки калькулятором до запуска, а не после.
2. Проводите тест полными неделями — поведение в будни и выходные отличается.
3. Не останавливайте тест досрочно, как только результат стал «значимым».
4. Если трафика не хватает, тестируйте более смелые изменения или используйте качественные исследования.

Какие ошибки делают результаты ложными?

Самая распространённая ошибка — подглядывание: команда каждый день смотрит на результаты и останавливает тест, как только видит значимую разницу. Из-за случайных колебаний так можно «найти» эффект там, где его нет.

• остановка теста при первом значимом результате;
• выбор метрики после теста среди многих показателей;
• неравномерное распределение — пользователь видит то одну, то другую версию;
• ошибки в подсчёте событий в одной из групп;
• одновременные пересекающиеся тесты на одном участке интерфейса;
• эффект новизны — постоянные пользователи кликают на новое просто из любопытства.

Перед анализом проверьте, что группы получились примерно равными: заметный перекос в размерах групп обычно говорит о технической ошибке.

Как реализовать A/B-тесты технически?

Технически тест — это флаг функции с распределением пользователей по группам, плюс аналитика, которая записывает, в какой группе был пользователь. Распределение должно быть стабильным: один и тот же пользователь всегда видит один вариант.

• распределение по хешу идентификатора пользователя — подробнее в статье feature flags;
• событие «пользователь попал в эксперимент» с названием теста и вариантом;
• целевые события фиксируются по единой схеме — статья веб-аналитика на событиях;
• распределение на сервере, чтобы избежать мерцания интерфейса и проблем с кешем;
• после завершения проигравший вариант и флаг удаляются из кода.

Коротко

• A/B-тест сравнивает версии одновременно и отделяет эффект изменения от внешних факторов.
• До запуска запишите гипотезу, основную и защитные метрики и размер выборки.
• Проводите тест полными неделями и не останавливайте его досрочно.
• Главные ошибки — подглядывание, подбор метрики после теста и технические перекосы групп.
• Технически тест — это флаг с устойчивым распределением и аналитикой событий.