Как правильно проводить А/В-тесты в email-рассылках

Как провести А/В-тест? Отправьте два варианта письма двум группам подписчиков. В зависимости от цели теста (увеличение открытий, переходов, продаж) оцените, какой вариант победил. Письмо с лучшими показателями отправьте остальным.

Звучит просто, но на деле тест легко испортить и прийти к неправильным выводам. А это ухудшит показатели рассылки.

Мы собрали 13 советов, которые помогут не ошибаться и выжать максимум из А/В-тестов.

1. Тестируйте все виды писем

В 2018 году Litmus спросили у компаний, как часто они тестируют письма. Оказалось, что 38% никогда (или очень редко) тестируют рекламные рассылки по базе.

Статистика по автоматическим и транзакционным письмам ещё хуже. Автоматические письма тестируют только 35% компаний, а транзакционные — 24%.

Litmus проводили исследование, в котором проверяли, от чего зависит успех email-кампании. Маркетологи успешных email-кампаний на 95% чаще тестируют транзакционные сообщения и на 70% чаще — автоматические.

2. Тестируйте ключевые элементы письма

Иногда мелкие изменения в письме могут стать решающим фактором, который повлияет на продажи. Но в первую очередь разумно сфокусироваться на ключевых элементах email: теме, призыве к действию и изображениях.

Litmus опросили 3000 маркетологов и выяснили, что большинство компаний тестируют именно эти элементы.

В автоматических письмах можно тестировать ещё больше элементов. В своей книге «Правила email-маркетинга» маркетолог Litmus Чад Уайт рекомендует тестировать:

• Логику автоматических цепочек.
• Время между действием подписчика и отправкой письма.
• Нужна ли цепочка писем или достаточно одного письма.
• Время между письмами автоматической цепочки.
• Условия для пропуска письма в автоматической цепочке.
• Условия остановки цепочки писем.

3. Определите цель: изменить один элемент или поменять email-стратегию

Менеджер Litmus Дженни Кларк считает, тесты помогают достичь локального или глобального максимума.

Локальный максимум — это самое эффективное письмо, которое вы можете отправить подписчику. Чтобы составить такой email, нужно много тестировать с его элементами.

Глобальный максимум — это радикальная смена email-стратегии. Например, мы начали отправлять интерактивные письма вместо текстовых и за счёт этого значительно подняли продажи с email.

4. Один тест — один элемент

Если тестировать больше одного элемента в письме, то мы не сможем понять, что именно повлияло на результат. Поэтому нужно проверять только одну гипотезу. Например:

• Зеленая кнопка — синяя кнопка.
• Письмо с отзывами — без отзывов.
• Фото продукта — картинка с эмоцией.
• Скидка в процентах — скидка в деньгах.

5. Точно сформулируйте гипотезу

Нужно понимать, почему то, что вы тестируете, приведет к желаемой цели.

Например, цель — повысить конверсию. В одном письме размещаем кнопку с призывом вверху email, а во втором — под контентом. Или проверяем, как работает имя пользователя в теме письма. Оба теста помогут узнать, как изменяется конверсия в двух группах.

6. Решите, по каким показателям выбирать победителя

Убедитесь, что вы тестируете достаточно этапов воронки продаж. Большинство email-кампаний направлены на увеличение трафика и повышение конверсии в продажи. Поэтому тестируя письма, нужно стремится к улучшению именно этих показателей.

Некоторые маркетологи полагают, что тема письма влияет только на открываемость, контент письма — только на переходы, а дизайн лендинга — только на конверсию. Это ошибка: все факторы работают вместе, и это легко проверить. Проведите А/В-тестирование нескольких писем с разными темами. Затем сравните результаты активности подписчиков по всей воронке. От открытия до покупки.

После этого теста появится странный вывод: тема повышает вовсе не открываемость. Она приводит людей, которые, вероятнее всего, совершат покупку. То есть тема играет свою роль в достижении конечной цели — продаже.

Также с контентом письма. Текст, картинки и цвет кнопок увеличивает не количество переходов, а количество переходящих, которые, скорее всего, купят.

И вообще, разве важно, сколько открытий генерирует тема письма А, если из письма B больше покупают? Поверьте, руководитель компании предпочтёт продажи открытиям писем.

7. Используйте для теста похожие сегменты подписчиков

Кроме основной гипотезы, нужно учитывать, кто получит письмо. Группы подписчиков для теста должны быть одинаковые. Например: 2 группы новых подписчиков, 2 группы действующих клиентов или группы из одного региона.

8. Тестируйте письма на активных подписчиках

Убедитесь в том, что обе тестовые группы регулярно читают письма. Если версия А попадет к активным, а В — к неактивным, вероятнее всего, письмо А выиграет. Но результат будет недействительным — тест проходил на разных группах.

Исключение — тестирование реактивационных писем. Их, конечно, нужно тестировать на неактивных подписчиках.

9. Проверьте размер тестовых групп

Если тестовые группы окажутся слишком маленькими, результат теста будет скорее случайностью. Чтобы результаты стали закономерностью, правильно подбирайте размер групп. Оценить количество подписчиков для теста помогут онлайн-калькуляторы: Kissmetrics, AB Testguide, и  Optimizely.

10. Выделите тестовую группу, которая не получит письмо

При каждом тестировании учитывайте результаты подписчиков, которые не получили письмо. Так вы сможете оценить эффект от письма в целом.

Такие группы особенно нужны при тестировании автоматических писем. Например, вы планируете запустить серию писем о брошенных корзинах. Одна из тестовых групп — подписчики, которые оставили товары в корзине, но не получили письмо о брошенной корзине. Результаты теста покажут, как меняется поведение разных групп подписчиков. Возможно, письма о брошенной корзине раздражают подписчиков и их лучше вообще не отправлять.

11. Создайте план тестирования

Бессистемные А/В тесты неэффективны, потому что не сфокусированы. Чтобы выжать максимум из тестирования, нужен план. Здесь можно фиксировать:

• Теории, которые хотите подтвердить.
• Какие адреса использовать для тестирования.
• Результаты каждого теста, и их влияние на последующие тестирования.

12. Подтверждайте результаты тестирований

Результат одного А/В теста не может быть окончательным. В краткосрочной перспективе любое улучшение может быть эффектом новизны.

Однако этот эффект исчезает довольно быстро. Проведите 2-3 одинаковых теста подряд и вы увидите истинное влияние изменений.

В долгосрочной перспективе поведение и отношение подписчиков меняется. На это влияют разные факторы: изменения продукта или услуги,  расширение географии или отказ от какого-либо региона. Поэтому любой тест через какое-то время нужно повторять снова.

13. Делитесь результатами А/В-тестов с коллегами

Отсутствие совместной работы между каналами и отделами стало самым большим испытанием для email-маркетинга в 2018-м году, согласно мнениям 600 маркетологов. Совместное использование результатов А/В тестирования — способ применить многоканальный подход к маркетингу и улучшить качество обслуживания клиентов.

Вот примеры того, с кем можно делиться разными гипотезами: