Как устроены А/А-тесты и когда они нужны

А/B-тестирование — популярный инструмент проверки гипотез, который построен на сравнении двух разных вариантов, например, сайта или письма. Однако он требует тщательной работы с выборкой, устранения внешних факторов, уверенности в платформе для тестирования и верной интерпретации результатов. К сожалению, не всегда этого можно достичь: согласно разным данным, проваливаются порядка 86% А/B-тестов. 

Чтобы устранить разнообразные погрешности, придумали А/А-тесты. В их рамках сравнивают два одинаковых варианта: это позволяет проверить платформу и устранить возможные ошибки, из-за которых А/B-тест не даст результатов. В статье разберём, как устроено А/А-тестирование и как его провести.

Чем отличаются А/А и A/B-тесты

А/А-тест — это частный случай, разновидность A/B-теста. В последнем сравниваются два разных варианта — вариант A и вариант B, или оригинал и версия с изменениями. 

В хороших A/B-тестах версии, как правило, отличаются одним элементом. Например, в одной версии кнопку можно сделать в основном цвете письма, а во второй — ввести для неё новый цвет. В результате тестирования мы должны выяснить, на какую из них пользователи кликают чаще: по итогу кампании смотрим на клики, где их больше — тот вариант и победил. Его и будем отправлять всем остальным пользователям.

В то же время в А/А-тесте оригинал сравнивается с самим собой: 

В таком подходе в отличии от A/B-теста не должно быть победителя. В примере с кнопкой, например, клики у обоих групп тестирования должны быть одинаковыми. Если они отличаются, значит, что-то не так.

Зачем нужен A/A-тест

Когда я впервые услышала про А/А-тест, в голове сразу возник вопрос: «А зачем это нужно, если разницы в результатах не будет?» Но, как оказалось, в этом и заключается суть такого эксперимента.

Главная цель А/А-теста — показать, можно ли доверять результатам последующего A/B-тестирования. Если в ходе А/А-теста победителя выявить не удалось, можно запускать A/B-тест. В противном случае придется проверить настройки сервиса и однородность выборки. Таким образом, А/А-тест предоставляет контрольные данные для проверки точности A/B-теста.

Если говорить о конкретных задачах, то А/А-тест чаще всего используют, чтобы:

Проверить, правильно ли работает платформа для тестирования. Если А/А-тест, запущенный в сервисе, покажет победителя, значит, есть проблемы с настройками эксперимента или с самим сервисом. О том, что делать в такой ситуации, поговорим чуть ниже.

Проверить правильность выборки. Выборка для A/B-тестирования должна быть достаточной по количеству и однородной. В противном случае результаты теста будут сильно искажены. А/А-тест позволит выявить, если с выборкой что-то не так: например, если конверсия по одной и той же странице у группы 1 составит 5%, а у группы 2 — 10%, скорее всего, выборку нужно пересмотреть. О том, как работать с выборкой для тестирования, у нас в «Конверте» есть большой гайд.

Определить базовый уровень конверсии. С помощью А/А-теста можно определить доверительный интервал, в рамках которого изменения конверсии могут быть случайными и не зависеть от изменений на странице. Например, в ходе А/А-теста одна и та же страница показала конверсию 2% и 3%. Значит, если при A/B-тесте конверсия попадет в диапазон от 2% до 3%, вносить изменения на страницу не стоит, так как они не повлияют на результат.

Так, в компании Avast после проведения А/А-теста приняли внутренние рекомендации по тестированию. Эксперимент помог компании определить, что любые изменения конверсии в диапазоне 5% могут быть вызваны случайными факторами и не могут служить сигналом к внедрению изменений.

Оценить минимальный объем выборки и время проведения эксперимента для конкретной страницы. Некоторые программы для тестирования объявляют выигрышную страницу преждевременно. Запустив А/А-тест, вы увидите, сколько участников на самом деле потребуется, чтобы считать один из вариантов при A/B-тесте выигрышным. Это произойдет, когда результаты А/А-теста начнут выравниваться.

Как провести А/А-тест 

Для начала настройте тест в выбранном инструменте, указав в качестве варианта для сравнения ту же самую страницу без изменений. При этом используйте сервис, в котором запускаете или планируете запускать A/B-тесты. Если вы тестируете письма — запустить А/А-тест можно в сервисе рассылок, если у него есть такой функционал.

После запуска теста, следите за его результатами. Поначалу данные могут сильно различаться, но с ростом количества участников эксперимента, они начнут выравниваться.

Не торопитесь завершать эксперимент слишком рано. Чем дольше вы его проводите, тем точнее будут результаты. Бывает, что А/А-тест показывает разницу только потому, что ему не хватает нужного количества данных для правильных выводов. Поэтому подождите хотя бы 1 месяц, а потом уже приступайте к анализу результатов.

Можно ориентироваться на размер выборки, который рассчитывается с помощью любого онлайн-калькулятора. Но если нужное количество пользователей вы набрали, а конверсия по двум страницам еще не выровнялась, лучше подождать пару недель, прежде чем приступать к анализу результатов.

Если А/А-тест не показал разницы между вариантами или она оказалась минимальна, поздравляем, вы можете со спокойной совестью запускать A/B-тест и полагаться на его результаты. При этом важно, чтобы инструмент для тестирования не смог определить победителя. Поэтому обращайте внимание на показатель статистической значимости, он должен оказаться ниже 95%. Это означает, что ни один из вариантов не может быть признан выигрышным.

Почему в А/А-тесте может появиться победитель

Если А/А-тест выявил победителя (а это плохо), то причины могут быть такие:

Ошибка теста (элемент случайности). Как у любого эксперимента, у А/А-теста тоже есть определенная степень достоверности. В теории при стандартной значимости в 95% каждый 20 А/А-тест будет показывать ложноположительный или ложноотрицательный результат. На практике, эксперты говорят, что сервисы объявляют победителя в 50-70% A/A-тестов (значимость от 95% до 99%). Такова статистика. Поэтому лучше повторить А/А-тест 2-3 раза, и только если результат повторится, пойти копаться в настройках сервиса и эксперимента.

Технические проблемы. Если несколько А/А-тестов подряд определяют победителя, и им признается основная страница, а не ее дубль, возможно, проблема с настройками эксперимента или в самом сервисе.

Проверьте, чтобы:

• данные в сервисе совпадали с данными веб-аналитики (количество посетителей, конверсия);
• скорость загрузки каждого варианта была примерно одинаковой (бывает смена варианта даже на тот же самый замедляет загрузку сайта, что, естественно, отражается на конверсии);
• обе страницы выглядят одинаково на всех устройствах и во всех браузерах. Разница может появиться, например, из-за «эффекта мерцания», когда пользователь сначала видит один вариант, а потом он меняется на другой пусть и идентичный первому.

Проблемы с инструментом. Если вы провели уже несколько тестов, не обнаружили технических неполадок и ошибок в настройках эксперимента, а А/А-тесты продолжают выявлять победителя, попробуйте использовать другой инструмент для тестирования.

Минусы А/А-теста

У А/А-тестов много противников, которые считают их бесполезной тратой времени. Вот основные аргументы, которые они приводят:

Выявляет наличие ошибки, но не указывает на неё. Если в тесте выявлен победитель, значит, есть какая-то из перечисленных в предыдущем разделе ошибок. А уж в выборке она или в работе сервиса, предстоит выяснять другими инструментами (или повторением А/А-теста после каждого внесения изменений).

Тест занимает много времени. На проведение А/А-теста требуется заложить около месяца, чтобы добиться нужной точности эксперимента. И это при хорошем трафике.

Если проект только стартует, проводить А/А-тест бессмысленно. Лучше постараться сделать сайт логичнее и понятнее, собрав обратную связь от представителей целевой аудитории.

Результат не гарантирован. Выше я уже описала, какие проблемы могут возникнуть при проведении А/А-теста и почему не всегда стоит доверять полученному результату.

Чтобы избежать перечисленных минусов, можно использовать другие способы, которые помогут проконтролировать качество эксперимента.

Как еще контролировать качество эксперимента

В чистом виде А/А-тест — слишком затратное решение. Поэтому более разумно использовать другие варианты, чтобы подтвердить правдивость результатов A/B-экспериментов:

Провести А/А/Б — тест. Компромиссный вариант. Можно запустить в ротацию сразу три варианта страницы — оригинал, еще один оригинал и страницу с изменениями. Так вы сэкономите время и убьете сразу двух зайцев. Однако у этого способа тоже есть свои минусы: на такой эксперимент требуется больше времени, чем на классический A/B-тест, и если будет обнаружена разница между одинаковыми вариантами, то и результатами всего эксперимента нельзя будет пользоваться.

Добавить инструмент аналитики. Это отличный способ проверить инструмент для тестирования. Самое простое — добавить Google Analytics к тому же Google Optimize. И если значительной разницы между данными (количеством посетителей, значением конверсии) не будет, значит, инструмент для тестирования работает корректно. Если увидите разницу в данных, попробуйте запустить А/А-тест и посмотреть на его результаты.

Следить за экспериментом. Одна из главных причин, почему А/А-тест может выявить победителя, — неоднородность выборки. При проведении A/B-теста стоит следить, чтобы между различными сегментами посетителей не было значительной разницы в разрезе вариантов. Другими словами, чтобы структура аудитории по полу, устройствам, географии была примерно одинакова для каждого варианта. Также варианты сайтов должны отличаться только тем, чем вы запланировали, а для этого важно отслеживать возникновение любых технических проблем и устранять их как можно быстрее.

Если вы все-таки решили проводить А/А-тесты, не стоит делать это перед каждым экспериментом. Полезно запустить такой тест, если вы только начинаете заниматься сплит-тестированием или хотите сменить сервис для A/B-тестов.