A/B тестирование (или сплит-тестирование) — это метод исследования, при котором сравниваются два варианта одного элемента, чтобы определить, какой из них более эффективен.
А/В-тест — это всегда сравнение двух вариантов продукта. Чаще всего А/В-тесты используют в маркетинге — там их провести проще всего. Одной части аудитории показывают основной вариант креатива, а другой — альтернативный. В продуктовом менеджменте А/В-тесты используются реже, потому что требуют дорогостоящих доработок продукта.
Вот основные шаги проведения A/B тестирования:
1. Формулировка гипотезы: Определение, какое изменение может улучшить показатели (например, изменение цвета кнопки на сайте).
2. Создание вариантов: Разработка двух версий элемента — оригинальной (A) и измененной (B).
3. Разделение аудитории: Случайное распределение пользователей на две группы, каждая из которых видит один из вариантов.
4. Сбор данных: Отслеживание поведения пользователей и сбор данных о взаимодействии с каждым вариантом.
5. Анализ результатов: Сравнение показателей (например, кликов или конверсий) для определения, какой вариант оказался более успешным.
A/B тестирование помогает улучшать пользовательский опыт и повышать эффективность маркетинговых кампаний, веб-сайтов и приложений.
Какие задачи можно решить с помощью А/В‑тестирования?
1. Протестировать новую функцию.
2. Выбрать эффективный креатив.
3. Собрать мнения пользователей.
Пример
1. Задача — добавить в приложение новую функцию
В приложении-агрегаторе можно узнать информацию о рейсах — сколько лететь, где пересадки, какая погода в городе прибытия. Продуктовые менеджеры решили добавить новые функции и проводят A/B-тест.
На этапе подготовки теста обычно генерируют много разных идей и пытаются заранее оценить, какая из них самая удачная, готова ли команда потратить месяц на разработку и нужно ли вообще проводить тест.
Продуктовые менеджеры решают добавить в приложение онлайн-регистрацию на рейс. Инструмент выглядит многообещающе: пользователю не понадобятся другие сервисы, чтобы планировать перелёты.
2. Спланировать A/B-тест
A/B-тестирование продукта или отдельной его функции — это всегда задача для команды. Один аналитик здесь не справится. Чтобы протестировать функцию, нужно сначала её разработать:
● подготовить техническое задание;
● отрисовать интерфейс;
● запрограммировать;
● выложить в магазин приложений для пользователей и дождаться одобрения модераторов.
Для разработки и тестирования функции в приложении с перелётами нужен продуктовый менеджер, несколько разработчиков, дизайнер и аналитик. Сначала продуктовый менеджер ставит задачу разработчикам — продумать функциональность и алгоритм, по которому её будут тестировать. Алгоритм будет каждого нового пользователя отправлять в группы А или В в случайном порядке (50/50).
После того как проект согласовали с руководством, задача переходит к аналитику. Он уточняет у продуктовой команды, какой эффект ожидают от новой функции. Например, пользователи будут проводить в приложении на 10% больше времени, чем до внедрения регистрации на рейс. На основе этих данных аналитик считает продолжительность теста и его параметры и вместе с продуктовой командой выбирает время запуска.
3. Провести A/B-тестирование
После запуска аналитик должен убедиться, что тест идёт корректно — пользователи распределяются по группам, как планировалось. В тесте могут быть ошибки. Например, один пользователь попадает сразу в две группы. В этом случае аналитик останавливает тест, чтобы разобраться в проблеме. Изучает данные по действиям каждого пользователя в двух вариантах приложения и смотрит, где алгоритм мог неверно их обработать. Обсуждает с разработчиками, как исправить ошибку и запуститься снова.
Если данных набралось достаточно, тест тоже могут остановить раньше запланированной даты и перейти к анализу результатов.
4. Проанализировать результаты
- Пользователи стали чаще проводить время в приложении.
Обычно продуктовый менеджер формулирует гипотезу, опираясь на свой опыт. Если тестирование прошло успешно, значит, команда тщательно изучила рынок и конкурентов, проанализировала прошлые проекты и придумала действительно полезную функцию.
- Ничего не изменилось.
В этом случае функцию просто добавляют в приложение. Она не улучшила его, но и хуже не стало. Такой результат получается по итогам большинства А/В-тестов.
- Снизилась продолжительность сессий, возросло количество отказов.
Не все A/B-тесты заканчиваются удачно. С таким результатом пользователям возвращают старую версию приложения и анализируют, в чём может быть проблема. Например, функция негативно влияет на производительность продукта — замедляет время загрузки страницы на 1 секунду. Даже такая небольшая задержка может снизить важные показатели на 10–15%.