Разборы

Как правильно проводить А/В-тесты в email-рассылках

Все главные правила качественного теста в одной статье
От редакции

А/В-тесты — мощный инструмент, который помогает подстраивать рекламную кампанию под предпочтения аудитории. Иногда результаты теста даже удивляют: например, мы выяснили, что текстовое письмо продаёт лучше, а письма без цен дают больше переходов.

Мы перевели статью Litmus про правильный подход к А/В-тестированию писем. Оставили самое главное, переработали картинки и дали полезные ссылки.

Как провести А/В-тест? Отправьте два варианта письма двум группам подписчиков. В зависимости от цели теста (увеличение открытий, переходов, продаж) оцените, какой вариант победил. Письмо с лучшими показателями отправьте остальным.

Звучит просто, но на деле тест легко испортить и прийти к неправильным выводам. А это ухудшит показатели рассылки.

Мы собрали 13 советов, которые помогут не ошибаться и выжать максимум из А/В-тестов.

1. Тестируйте все виды писем

В 2018 году Litmus спросили у компаний, как часто они тестируют письма. Оказалось, что 38% никогда (или очень редко) тестируют рекламные рассылки по базе.

как часто тестируют рекламные email
Опрос Litmus. 38% компаний не тестируют рекламные рассылки

Статистика по автоматическим и транзакционным письмам ещё хуже. Автоматические письма тестируют только 35% компаний, а транзакционные — 24%.

как тестируют транзакционные и автоматические письма
Ежегодный опрос Litmus. 65% компаний никогда не проводят А/В тесты триггерных и автоматических писем

Litmus проводили исследование, в котором проверяли, от чего зависит успех email-кампании. Маркетологи успешных email-кампаний на 95% чаще тестируют транзакционные сообщения и на 70% чаще — автоматические.

Совет

Тестируйте все виды писем: рекламные, транзакционные и автоматические. Так вы сможете лучше понять, что нравится подписчикам, и откорректировать свою email-стратегию.

2. Тестируйте ключевые элементы письма

Иногда мелкие изменения в письме могут стать решающим фактором, который повлияет на продажи. Но в первую очередь разумно сфокусироваться на ключевых элементах email: теме, призыве к действию и изображениях.

Litmus опросили 3000 маркетологов и выяснили, что большинство компаний тестируют именно эти элементы.

Чаще всего маркетологи тестируют тему письма и призыв к действию
Чаще всего маркетологи тестируют тему письма и призыв к действию

В автоматических письмах можно тестировать ещё больше элементов. В своей книге «Правила email-маркетинга» маркетолог Litmus Чад Уайт рекомендует тестировать:

  • Логику автоматических цепочек.
  • Время между действием подписчика и отправкой письма.
  • Нужна ли цепочка писем или достаточно одного письма.
  • Время между письмами автоматической цепочки.
  • Условия для пропуска письма в автоматической цепочке.
  • Условия остановки цепочки писем.
совет

В первую очередь тестируйте ключевые элементы письма: тему, призыв к действию и изображения. Если с ними всё ок, переходите к менее значимым элементам.

3. Определите цель: изменить один элемент или поменять email-стратегию

Менеджер Litmus Дженни Кларк считает, тесты помогают достичь локального или глобального максимума.

Локальный максимум — это самое эффективное письмо, которое вы можете отправить подписчику. Чтобы составить такой email, нужно много тестировать с его элементами.

Глобальный максимум — это радикальная смена email-стратегии. Например, мы начали отправлять интерактивные письма вместо текстовых и за счёт этого значительно подняли продажи с email.

Чем отличаются локальный и глобальный максимум
Чем отличаются локальный и глобальный максимум
совет

Определите, какого максимума вы хотите достичь тестом — локального или глобального.

4. Один тест — один элемент

Если тестировать больше одного элемента в письме, то мы не сможем понять, что именно повлияло на результат. Поэтому нужно проверять только одну гипотезу. Например:

  • Зеленая кнопка — синяя кнопка.
  • Письмо с отзывами — без отзывов.
  • Фото продукта — картинка с эмоцией.
  • Скидка в процентах — скидка в деньгах.
совет

Тестируйте один элемент, чтобы правильно оценить результат.

5. Точно сформулируйте гипотезу

Нужно понимать, почему то, что вы тестируете, приведет к желаемой цели.

Например, цель — повысить конверсию. В одном письме размещаем кнопку с призывом вверху email, а во втором — под контентом. Или проверяем, как работает имя пользователя в теме письма. Оба теста помогут узнать, как изменяется конверсия в двух группах.

совет

Сформулируйте цель теста и после этого решайте, какие элементы нужно протестировать.

6. Решите, по каким показателям выбирать победителя

Убедитесь, что вы тестируете достаточно этапов воронки продаж. Большинство email-кампаний направлены на увеличение трафика и повышение конверсии в продажи. Поэтому тестируя письма, нужно стремится к улучшению именно этих показателей.

Некоторые маркетологи полагают, что тема письма влияет только на открываемость, контент письма — только на переходы, а дизайн лендинга — только на конверсию. Это ошибка: все факторы работают вместе, и это легко проверить. Проведите А/В-тестирование нескольких писем с разными темами. Затем сравните результаты активности подписчиков по всей воронке. От открытия до покупки.

После этого теста появится странный вывод: тема повышает вовсе не открываемость. Она приводит людей, которые, вероятнее всего, совершат покупку. То есть тема играет свою роль в достижении конечной цели — продаже.

Полезно
Что не так со сплит-тестами Кто сказал, что наши покупатели — статистическое большинство?

Также с контентом письма. Текст, картинки и цвет кнопок увеличивает не количество переходов, а количество переходящих, которые, скорее всего, купят.

И вообще, разве важно, сколько открытий генерирует тема письма А, если из письма B больше покупают? Поверьте, руководитель компании предпочтёт продажи открытиям писем.

совет

Оценивайте не только поверхностные показатели вроде открытий и переходов. Двигайтесь глубже по воронке: смотрите на регистрации и продажи.

7. Используйте для теста похожие сегменты подписчиков

Кроме основной гипотезы, нужно учитывать, кто получит письмо. Группы подписчиков для теста должны быть одинаковые. Например: 2 группы новых подписчиков, 2 группы действующих клиентов или группы из одного региона.

совет

Используйте одинаковые группы подписчиков для проверки гипотезы.

8. Тестируйте письма на активных подписчиках

Убедитесь в том, что обе тестовые группы регулярно читают письма. Если версия А попадет к активным, а В — к неактивным, вероятнее всего, письмо А выиграет. Но результат будет недействительным — тест проходил на разных группах.

Исключение — тестирование реактивационных писем. Их, конечно, нужно тестировать на неактивных подписчиках.

совет

Следите, чтобы обе группы подписчиков были активными.

9. Проверьте размер тестовых групп

Если тестовые группы окажутся слишком маленькими, результат теста будет скорее случайностью. Чтобы результаты стали закономерностью, правильно подбирайте размер групп. Оценить количество подписчиков для теста помогут онлайн-калькуляторы: Kissmetrics, AB Testguide, и  Optimizely.

Полезно
Почему 7 из 8 A/B-тестов — ерунда. 4 калькулятора для правильного теста Как провести А/Б-тест и получить значимые данные
совет

Используйте специальные калькуляторы, чтобы оценить значимость полученного результата.

10. Выделите тестовую группу, которая не получит письмо

При каждом тестировании учитывайте результаты подписчиков, которые не получили письмо. Так вы сможете оценить эффект от письма в целом.

Такие группы особенно нужны при тестировании автоматических писем. Например, вы планируете запустить серию писем о брошенных корзинах. Одна из тестовых групп — подписчики, которые оставили товары в корзине, но не получили письмо о брошенной корзине. Результаты теста покажут, как меняется поведение разных групп подписчиков. Возможно, письма о брошенной корзине раздражают подписчиков и их лучше вообще не отправлять.

совет

Группу, которая не получает писем, можно использовать при отправке любого email. Так мы проверим, как письмо влияет на подписчиков: позитивно или негативно.

11. Создайте план тестирования

Бессистемные А/В тесты неэффективны, потому что не сфокусированы. Чтобы выжать максимум из тестирования, нужен план. Здесь можно фиксировать:

  • Теории, которые хотите подтвердить.
  • Какие адреса использовать для тестирования.
  • Результаты каждого теста, и их влияние на последующие тестирования.
совет

Создайте план A/B-тестов. Отмечайте, когда, что и зачем будете тестировать. Записывайте результат.

12. Подтверждайте результаты тестирований

Результат одного А/В теста не может быть окончательным. В краткосрочной перспективе любое улучшение может быть эффектом новизны.

Однако этот эффект исчезает довольно быстро. Проведите 2-3 одинаковых теста подряд и вы увидите истинное влияние изменений.

В долгосрочной перспективе поведение и отношение подписчиков меняется. На это влияют разные факторы: изменения продукта или услуги,  расширение географии или отказ от какого-либо региона. Поэтому любой тест через какое-то время нужно повторять снова.

совет

Первый результат теста не всегда показательный. Проверьте гипотезу ещё несколько раз, чтобы понять её значимость.

13. Делитесь результатами А/В-тестов с коллегами

Отсутствие совместной работы между каналами и отделами стало самым большим испытанием для email-маркетинга в 2018-м году, согласно мнениям 600 маркетологов. Совместное использование результатов А/В тестирования — способ применить многоканальный подход к маркетингу и улучшить качество обслуживания клиентов.

Вот примеры того, с кем можно делиться разными гипотезами:

Гипотеза Элементы тестирования Рассказать
Эмоциональный вопрос даст больше продаж, чем спокойный призыв к покупке Тема, призыв к действию, контент Дизайнеру сайта и лендингов, специалистам по баннерной и контекстной рекламе, команде SMM и ретаргетинга
Улыбающийся человек в одежде бренда генерирует больше продаж, чем просто изображение одежды Картинка Дизайнеру сайта и лендингов, специалистам по баннерной рекламе, команде SMM и ретаргетинга
«Скидка 200 рублей» продает лучше, чем «скидка 10%» Тема, призыв к действию, контент Дизайнеру сайта и лендингов, команде SMM и ретаргетинга
совет

Расскажите о результатах теста команде. Возможно, эти данные можно будет использовать для других рекламных кампаний.