A/B-тестирование за 5 шагов: улучшаем продукт и экономим ресурсы

Что такое A/B-тестирование

A/B-тестирование — метод маркетингового исследования, который заключается в сравнении двух вариантов одного элемента. Он помогает понять, в какой степени и как именно внесенные изменения влияют на целевые показатели. Например, A/B-тестирование позволяет оценить эффективность различных вариантов баннеров, кнопок или даже оформления страниц сайта. Это особенно важно при оптимизации пользовательского опыта и повышении конверсии.

Допустим, у вас есть сайт. Помимо обычного виджета для сбора лидов вы хотите использовать элемент геймификации — «Колесо фортуны». Как узнать, эффективнее ли он обычного баннера? Разделить аудиторию на контрольную и тестовую группы, создать две страницы и провести A/B-тестирование. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге эффективность одной из версий будет выше — значит, можно вносить изменения на весь сайт.

Это реальная история, так мы тестировали гипотезы для партнера kassir.ru. Чтобы понять и оценить эффективность «Колеса фортуны», мы сравнили перфоманс классической формы для сбора лидов с геймифицированным виджетом. Вот что выяснили:

• конверсия классического виджета — 0,07% — 1%;

• конверсия «Колеса Фортуны» — 5,53 — 8,45%.

Читайте также: Как использовать on-site-персонализацию для увеличения продаж. Кейс Kassir.ru

Зачем нужно A/B-тестирование

A/B-тестирование можно использовать для оценки любого элемента маркетинга, например, email-рассылки, баннера, пуш-уведомления. С помощью A/B-тестирования строят и проверяют гипотезы, чтобы внести наиболее эффективное изменение, а в итоге: 

• скорректировать метрики;

• улучшить юзабилити;

• увеличить конверсию с минимальными рисками. 

В начале 2023 года «Альфа-Банк» улучшил предложение на витрине подарков Exchange: беспроцентный период по новой кредитке увеличился до 365 дней. Коллеги из «Альфа-Банка» предложили переименовать акцию в «Год без процентов».

Очевидно, что такое изменение повысит популярность предложения и прокачает все шаги в воронке. Однако когда есть возможность тестировать много гипотез, появляется ресурс даже для таких мелких вопросов, как «написать „Год без процентов“ или „365 дней без процентов“?». 

Мы проверили гипотезу и выяснили, что второй вариант приносит на 10% больше заказов — это десятки тысяч новых клиентов в год.

Данила Епишин, Head of Performance Products в команде Flocktory 

Читайте также: Как «Альфа-банк» и Flocktory на 15% увеличили конверсию в оформление кредитных карт с помощью персонализации

Как провести A/B-тестирование

1. Сформулировать задачи тестирования 

Обычно A/B-тестирование проводится, чтобы улучшить показатели интернет-ресурса: 

• вырастить трафик;

• увеличить конверсию в целевое действие;

• снизить количество отказов и так далее. 

Заранее определите, какой результат вы хотите получить после изменений. В зависимости от цели получится выбрать метрики. 

2. Определить метрики результатов

Метрики — количественные показатели, по которым вы оцените целесообразность изменений. Если вы постоянно работаете с ресурсом, то, скорее всего, уже знаете фокусные метрики, к которым хотите стремиться. Это может быть количество заказов или средний чек покупателя, процент открытых писем в рассылке или ежемесячный охват.

3. Разработать гипотезу 

Гипотеза — это предположение, которое вы проверяете в ходе A/B-тестирования. Например, вы дизайнер и работаете над увеличением конверсии лендинга. Гипотеза перед тестом может звучать так: «Изменение местоположения кнопки „Купить“ увеличит количество покупок». 

Чаще всего такие гипотезы рождаются из данных, общения с пользователями, результатов опросов и анализа конкурентов. Во Flocktory мы пользуемся всеми перечисленными, а каждую новую гипотезу заносим в бэклог.

Первое правило: каждая гипотеза должна быть конкретной и работать с единственным изменением. Например, тестируем новое изображение, но в нем меняется целиком и дизайн, и текст. Такой эксперимент покажет, как хуже или лучше работает это сочетание изменений в совокупности, но будет непонятно, что стало ключевым фактором: оформление или сообщение.

Второе: изменение должно влиять на конкретную метрику. В таких ситуациях можно смотреть на все метрики подряд и пытаться делать какие-то выводы. Это сравнимо с ситуацией, когда корабль в дрейфе причаливает к острову, но команда не знает, хорошо ли это. Такая работа бессистемна.

Третье: гипотеза должна быть релевантна продукту прямо сейчас. Если понимаете, что ваш онлайн-сервис по какой-то конверсионной метрике в три раза отстает от конкурентов, то нет смысла тестировать мелкие гипотезы и заниматься тонкой настройкой типа улучшения кнопок. Стоит подняться на уровень выше: переосмыслить CJM, изменить структуру информации на целевой странице и т. п.

Данила Епишин, Head of Performance Products в команде Flocktory  

4. Подготовить и провести эксперимент 

Чтобы получить корректные результаты, нужно тщательно подготовить эксперимент. A/B-тестирование требует создания двух версий продукта (A и B), рандомизации выборки и определения контрольной и экспериментальной групп. Убедитесь, что экспериментальные условия одинаковы для обеих групп, чтобы получить точные результаты.

• Создать новую версию элемента / ресурса для тестирования. 

• Определить контрольную и экспериментальную группы. Группу, которая увидит первую версию А, называют контрольной. Группу, которая увидит вторую версию, — экспериментальной. Эти группы должны быть одного размера. 

• Рандомизировать исследование. Важно, чтобы пользователи видели версии А и B в случайном порядке, и шанс получить ту или иную версию был равным. 

• Просчитать минимальный размер выборки. Это можно сделать вручную или с помощью специальных сервисов, например Abtasty или Optimizely. 

• Определить период тестирования. Возьмите общий размер выборки, необходимый для тестирования каждой версии, и разделите его на ежедневный трафик. Так вы получите количество дней, необходимых для проведения теста.

Читайте также: CDP (Customer Data Platform) — чем могут быть полезны, какие бывают, как выбрать и внедрить

5. Сделать выводы

Когда A/B-тестирование подойдет к концу, нужно обобщить и проанализировать данные. В первую очередь стоит рассчитать значение выбранной метрики для каждой версии, а затем — разницу между этими значениями. В итоге вы получите один из трех результатов:

• Вторая версия B выигрывает. Значит, вы хорошо поработали: новый вариант эффективнее предыдущего. 

• Изначальная версия А выигрывает или не дает значительного прироста метрик. Это значит, что новая версия работает хуже, чем ожидалось — нужно понять, почему, на основе этих данных доработать версию B и провести повторное исследование. 

• Между А и B нет значительной разницы. 

Во втором и третьем случае в данных может быть подвох. Например, глобальное изменение цвета кнопки не повлияло на конверсию в заявку, но люди в возрасте от 35 до 44 лет стали чаще кликать на нее и оставлять заявку. Вывод: аудиторию можно сегментировать не только по возрасту, но и по географическим параметрам, типу устройства, полу, источнику трафика и так далее. 

Грамотно сформулированная гипотеза сразу предполагает, какие выводы из каких метрик предстоит сделать и какое решение принять. Она может подтвердиться с дальнейшей имплементацией в продукт, а может быть опровергнута. Это тоже хороший результат, это новые знания, хоть и не влияющие на метрики. Иногда можно получить промежуточный результат, когда, допустим, мы вырастили одну метрику, но по целевой не было изменений или вырастили целевую метрику, но уронили какие-то проверочные. В этих случаях мы думаем, как изменить эксперимент или гипотезу, либо добавляем больше вариаций. Последнее делается для того, чтобы реализовать потенциал гипотезы, если он в ней есть по итогам теста.

Данила Епишин, Head of Performance Products в команде Flocktory 

Резюме

• A/B-тестирование — способ проверить маркетинговые гипотезы с минимальными рисками и затратами.

• A/B-тестирование помогает сократить ресурсы на работу с digital-элементами и при этом сделать их кратно эффективнее. 

• В результате A/B-тестирования можно провести изменения на сайте или в приложении, которые значительно улучшат бизнес-показатели компании:

• увеличат конверсию в целевое действия;

• увеличат средний чек;

• оптимизируют путь пользователя по всей воронке и так далее. 

Если вы хотите, чтобы пользователи чаще совершали целевые действия на сайте, подключите модуль A/B-тестирования Flocktory. Мы поможем сформулировать гипотезы, запустим тестирование и оптимизируем сайт по результатам теста — для этого вам даже не понадобится своя команда.