Что не так со сплит-тестами в рассылках

Первые 5 тестов. Не лажать

С третьего раза у меня получилось сделать всё без косяков.

Оказалось, что нужна база хотя бы в 5000 контактов и рассылки раз в неделю. Иначе вы просто хреново делаете А/А-тесты. Тогда я слова такого не знал, но «чутьё» всеми силами подсказывало, что всё не так.

Если у компании маленькая база и рассылки нерегулярные, то любой результат сплита будет скорее случайностью.

5-10 сплитов. Правила

Учусь делать сплиты по правилам. Определяю погрешность, тестирую строго одно различие, тщательно записываю результат. Ну, должен был.

Это немного скучней, чем «А давай наш Сашка-дизайнер письмо забабахает», но надо делать именно так. Теперь я это знаю.

И самое главное — нужно внедрять. Записывать и внедрять. Понял, что добавление большой картинки вместо хедера уменьшает переходы — к черту большие картинки (до следующего теста, конечно).

Тогда это у меня не получилось. Но ты же будешь умнее меня, правда?

10-50 сплитов. Деньги

Начал считать деньги. Не открытия, не переходы, не отписки или жалобы. И даже не ответные письма и заказы. Деньги.

Я работал в интернет-магазине, поэтому это было просто — вкладка электронная коммерция в Google Analytics.

Почему именно деньги? Потому что ты можешь увеличить процент открытий, но никто не перейдёт на сайт. Попробуй в заголовке написать: «В этом письме голая баба откусывает голову гигантской карликовой галаке». Попробуй обязательно – должен же кто-то учиться на своих ошибках.

То же самое с переходами. Можно буквально каждый миллиметр письма сделать ссылкой, но толку?

Считай деньги.

50-100 тестов. Всемогущий

Вот на этом этапе я думал, что я всё могу и всё знаю. Даже нормально записывать результаты тестов.

На этом же этапе я начал считать деньги с серии писем.

Всё очень просто — запустил серию писем на 50% базы, а вторую половину оставил контрольной. В конце серии сравнил деньги.

Но оказалось, что не всё так радужно, поэтому есть следующий пункт.

100+ тестов. Новый уровень

Вот после всего вышеперечисленного (а также подсчёта ROI, ROMI, LTV, CAC и других аббревиатур), приходит понимание, что что-то со сплит-тестами не так.

На какой вопрос отвечает сплит-тест?

На вопрос: «Кого больше?».

Предположим, ты проверяешь «лонгриды или короткие истории». И истории набрали больше переходов. Означает ли это, что истории лучше? Неа. Это означает, что условно больше людей, которые любят истории.

• Был ли у каждого отдельного человека выбор? Нет.
• Это похожие люди? Ты разделил новичков, лояльных, нейтралов? Нет.
• Узнал ли ты, что нравится конкретному контакту? Нет.
• Учёл мнение людей, которым нравятся лонгриды в письмах? Тоже нет.

Тогда что ты узнал?

Этим тестом ты вывел некую статистическую вероятность. Уверен, что ваши покупатели — это статистическое большинство? Например, ты решил что короткие истории лучше, а покупали как раз те, кто читал длинные тексты. Тогда беда-печаль-харакири.

Смысл этого этапа  предложить каждому свой вариант, чтобы письмо было ему полезно. Вот тут начинается пока очень сложная работа с выяснением формата письма для каждого отдельного подписчика.

Чтобы дотошный Коля получал длинный лонгрид, а импульсивный Ваня — короткое письмо с явным CTA. Чтобы любознательный Макс увидел таблицу сравнения вариантов, а сомневающийся Егор — ответы на возражения. И чтобы ничего не знающий о вашем продукте Игорь читал о своих выгодах, а не требование немедленно купить.

Что в итоге? Как быть со сплитами?

Первое — научись делать сплиты, это важный навык.

Второе — переходи от сплитов к персонализации. Это логичное продолжение.

Что делаем, когда научились делать тесты:

1. Серия гипотез для КАЖДОГО человека. Максимум для отдельной группы, типа первая покупка на этой до 7 дней назад.
2. Отдельная статистика по каждому человеку, а не письму.
3. Капельная система касаний (не только писем).
4. Динамический контент на каждом этапе воронки нашей капельной системы.

Если тебе понравилась статья — поставь «+» в комментариях. Это будет сигналом, что нужно детальнее написать о переходе к персональному тестированию ?