Как провести A/B сплит-тестирование

Первое правило маркетолога — «Тестируй».

• Во-первых, потому что проще продавать людям то, что они хотят.
• Во-вторых, потому что только с помощью тестов можно понять — все ли вы выжали со своей рассылки.

Как это происходит в теории:

Берётся какой-то процент ваших контактов (вы сами можете его задать). Они делятся на равные части и им отсылаются разные письма. А потом смотрят на результат и делают выводы. Дальше покажем, как это на практике, а пока важный список.

Что можно тестировать:

Открываемость:

• Тема письма — с персонализацией или без, работает ли знак вопроса в конце темы, длина заголовка, работает ли призыв к действию;
• Прехедер (начальный текст, который отображается в некоторых сервисах рядом с темой) — работает или нет.
• Отправитель — можно протестировать как люди реагируют на разные адреса и отправителей. Например, как ваши клиенты открывают письма от Ивана Рождественского, Ивана Анатольевича или Иван (UniSender)?
• Когда ваши клиенты читают письма? Можно легко проверить время отправки.

Текст:

• Как влияют заглавия и подзаглавия;
• Длину текста — написать два разных текста об одном предложении и сравнить, в каком тексте лучше кликали по ссылкам;
• Оформление — считаете, что лучше писать клиентам зеленым цветом на красном фоне? Это тоже можно протестировать:). А если серьезно, то тут широкий круг для экспериментов и копирайтинга.
• Картинки — нужны ли они. Тоже можно проверить.
• Помогает ли уникальный шаблон — если вы решили заказать корпоративный шаблон email, то сможете протестировать, как выросли показатели.

Кликабельность:

• Что лучше ссылки или кнопки?
• Сколько ссылок нужно в письме?
• Где нужно расположить ссылки?
• Стоит ли «прятать» кнопки или оставлять так, как есть.

Конверсию:

• Если у вас подключена веб-аналитика, измерение конверсии — самое необходимое. Как измеряется отдача от рассылки поговорим в уроке.

И естественно в UniSender это можно протестировать. Все, кроме времени прочтения писем и конверсии тестируется с помощью функции «Сплит-тест».

Как провести тестирование?

Рассмотрим на примере. Предположим, что мы хотим узнать, какая кнопка в письме работает лучше, даст больше конверсию:

• 1-й вариант — синяя;
• 2-й вариант — красная.

Так выглядит кнопка в письме:

Чтобы протестировать кнопки, создадим копию письма. Для этого заходим в раздел «Рассылки» — «Письма».

Здесь нажимаем «Создать копию» напротив нужного письма, а во всплывающем окне — «К копии».

В скопированном письме нажимаем на вкладку «Создать письмо»:

Меняем цвет кнопки в редакторе, нажимаем «Сохранить»:

Теперь перейдём на вкладку «Ввести тему и адрес».

Меняем тему письма на «Письмо с красной кнопкой». Делаем это для наглядности.  В случае, когда вы тестируете кнопку, тему заменять не нужно, чтобы не влиять на результат теста.

Нажимаем кнопку «Продолжить».

Переходим к созданию сплит-теста.

Для этого переходим в меню «Рассылки» — «Сплит-тесты».

Здесь нажимаем кнопку «Создать сплит-тест».

Открывается страница с параметрами сплит-теста:

На этой странице:

1. Указываем название сплит-теста.

2. Выбираем список для отправки сплит-теста.

3. Выбираем варианты писем. В UniSender можно протестировать до 10 вариантов, которые можно запустить в сплит-тест.

4. Выбираем тип сплит-теста:

• Без ожидания финальной части.
  В данном случае получатели распределяются равномерно между всеми письмами участвующими в сплит-тесте. Формируются и отправляются соответствующие кампании, по одной на каждое письмо
• С ожиданием финальной части.

5. Указываем параметр, по которому определим победителя:

• С максимальным количеством переходов;
• С максимальным количеством открытий;
• Выбрать победителя вручную.

В примере мы тестируем, на какую кнопку пользователи больше кликнут, поэтому выбираем «С максимальным количеством переходов».

Другие варианты из списка:

• «С максимальным количеством открытий» — в случае теста времени или темы письма;
• «Выбрать победителя вручную» — если не знаете, что тестировать. К примеру, подходы.

6. Указываем аудиторию.

В нашем примере — 20% от общей аудитории. На эту часть списка отправляем 2 варианта. 10% — получат первый вариант, другие 10% — второй вариант.

Смысл сплит-тестирования — отправить лучшее письмо на большую аудиторию.

Контакты выбираются случайно. По завершению сплит-теста автоматически определяется письмо-победитель, после чего остальные 80% аудитории автоматически получат лучший вариант письма.

7. Установим время тестирования. Сплит-тест будет рассчитан на 12 часов.

Рекомендуется указывать не менее 3-х часов. Это оптимальное время, за которое люди открывают письма. Если аудитория неактивная, медленная (которая редко проверяет почту), то указываем промежуток 1 — 2 дня.

8. Письмо можем отправить отправить прямо сейчас или запланировать отправку на другое время и дату. Выбираем «Отправить сейчас».

9. Нажимаем кнопку «Запустить».

Готово! Сплит-тест создан.

Переходим к отчёту по сплит-тесту из меню «Рассылки» — «Сплит-тесты».

На странице отображается список всех сплит-тестов. Выбираем нужный сплит-тест, после чего будут показаны отчёт и статистика по письмам:

Поздравляем, теперь вы умеете проводить сплит-тестирование.