Формулируем, приоритизируем, тестируем, анализируем
Создание email-рассылок человеку непосвящённому может показаться творческим процессом. В действительности же креатив играет здесь далеко не главную роль. Выбор конкретной стратегии, дизайна или элемента основывается исключительно на проверенных данных, а не на интуиции. По сути, профессиональный email-маркетинг подразумевает непрерывный цикл тестирования гипотез. Только так можно подтвердить или опровергнуть эффективность и полезность определённой идеи. В статье расскажу, как строить и проверять гипотезы в email-маркетинге.
Гипотеза — это обоснованное предположение о том, как конкретное изменение в рассылке повлияет на поведение получателей и результаты кампании. Это отправная точка для принятия решений, основанная на анализе данных, опыте или знании аудитории.
Пример гипотезы:
«Использование персонализированных обращений в заголовках писем повысит открываемость, поскольку получатели чаще обращают внимание на контент, который выглядит индивидуально подстроенным под них».
Маркетинговые гипотезы нужны как основание для тестирования различных подходов. Они позволяют предположить, какой элемент письма или стратегия может сработать лучше — а значит, сделать правильный выбор и максимизировать эффективность.
Стоит уточнить, зачем вообще нужна культура тестирования. Причина в том, что человеческий мозг склонен к когнитивным искажениям. Нам кажется, что персонализация по имени всегда работает, а красные кнопки лучше синих. На практике то, что сработало в одном бизнесе, может обрушить показатели в другом. Без тестирования вы двигаетесь на ощупь, рискуя лояльностью базы и бюджетом.
В Агентстве Unisender мы строим гипотезы для наших клиентов, исходя из нескольких ключевых моментов: результатов исследования аудитории, аудита текущего email-маркетинга, анализа конкурентов и понимания конкретных бизнес-задач клиента.
Первый и главный вопрос, с которого начинается работа над гипотезой — а какую задачу с помощью email мы хотим решить? Чаще всего это задачи по лидогенерации, повторным продажам, повышению удержания (ретеншн) и т.д.
На основе этих и других данных (исследования, аудит, анализ конкурентов) формируем гипотезу: какой контент, кому и как будем отправлять, чтобы достичь поставленной цели. Сразу выбираем, по каким метрикам будем оценивать, сработала ли наша гипотеза. Для оценки обычно выбирают и классические email-метрики (например, CTR), и показатели на стыке с другими отделами: например, количество заявок, поступивших от клиентов из рассылки.
Поиск идеи для гипотезы предполагает научный подход. Если проверять все предположения из разряда «…а что, если…?», то тестирование превратится в хаос. Любая идея должна быть обоснована. Нужны аргументы, которые подтвердят её целесообразность. Потому идеи желательно черпать из надёжных источников — вот несколько таких примеров.
Аудит воронки. Проанализируйте отчёты. Если у вас высокий Open Rate, но ничтожный CTR, то проблема кроется в контенте или релевантности предложения. Это «узкое место» и есть приоритетная зона для гипотез.
Исследование аудитории. Используйте опросы (NPS, CSAT) и тепловые карты кликов. Если пользователи кликают на картинки, которые не являются ссылками, то это становится поводом для гипотезы о смене дизайна CTA.
Мониторинг конкурентов. Подпишитесь на лидеров рынка. Не копируйте слепо, а декомпозируйте их приемы. К примеру, почему они используют такой тон, почему отправляют письма в это время. Адаптируйте эти наблюдения под свои задачи.
Как провести анализ конкурентов в digital-маркетинге
В процессе поиска может быть собрано немало идей. Но важно оставлять лишь те, которые представляют какую-то ценность для отправителя. Для этого нужно идею превратить в гипотезу с выражением конкретной выгоды, которую можно измерить и оценить.
Правильное формулирование гипотезы предполагает её проверяемость. Нужно чётко понимать, что планируется сделать и какова цель. Также желательно обосновать, почему результат будет достигнут. В целом, шаблон гипотезы в email-маркетинге выглядит примерно так:
«Если мы [Действие], то это приведет к [Результат], потому что [Обоснование]»
Если идею можно разобрать по указанной формуле, следовательно, гипотеза имеет место быть. Например:
Точно также как может быть много идей, может быть и немало гипотез. Они могут быть идеально сформулированы. Но тестировать все гипотезы без исключения не нужно, а порой и бессмысленно.
На тестирование всех возможных гипотез не хватит ни времени, ни ресурсов. Потому важно выбрать варианты с наибольшим потенциалом успеха. Для этого можно использовать метод скоринга ICE. Нужно ответить на вопросы, оценивая ответ по десятибалльной шкале от 1 до 10:
Для получения оценки полученные ответы нужно перемножить между собой (ICE score = I × C × E). Аналогично нужно оценить все имеющиеся гипотезы. Те из них, что набрали самый высокий балл, идут в работу первыми.
Метод ICE score порой критикуют за сильное влияние субъективного восприятия. Оценка напрямую зависит от мнения конкретных людей. Однако этот способ хорошо подходит для быстрого ранжирования, когда нужно быстро определить, что делать в первую очередь. ICE score позволяет находить «быстрые победы» — задачи с минимальными затратами и максимальным выхлопом.
Чтобы проверить выбранную гипотезу, нужно её реализовать и оценить результат. Для проверки гипотез в email-маркетинге могут использовать различные методы, но основными и наиболее распространенными являются A/B-тестирование и многофакторное тестирование.
A/B-тестирование (Split-test). Это наиболее распространенный и простой метод. Создают две версии email-письма (A и B), которые различаются только одним элементом (например, заголовком, изображением или призывом к действию). Эти версии отправляются разным группам получателей, чтобы определить, какая из них работает лучше.
Многофакторное (многовариантное) тестирование (MVT). Этот подход более сложный и требует большего объёма данных. Вместо двух вариантов тестирует несколько (например, 3–5 версий писем), где могут изменяться сразу несколько элементов (например, заголовок, дизайн и текст призыва к действию). Это позволяет понять, как комбинация факторов влияет на результат.
В большинстве случаев в email-маркетинге предпочтительнее проводить несколько последовательных A/B-тестов вместо одного сложного многофакторного теста (MVT). Причина заключается в том, что для сплит-теста достаточно небольшой базы получателей, которую можно разделить на две равные части. MVT требует значительно больших баз данных — от 100 тысяч пользователей и выше — чтобы обеспечить корректное сравнение множества вариантов.
Проводить A/B-тесты удобно в том же сервисе email-рассылок, где находится ваша база данных. Например, в Unisender есть встроенная функция сплит-тестирования. Вы можете выбрать часть базы для теста, разделить её на группы, создать варианты писем, отправить тестовые рассылки и получить детальный отчёт.
Оценивать абсолютно все метрики при тестировании email-кампаний — задача не только сложная, но и непрактичная. Анализ каждого показателя может затруднить процесс принятия решений и привести к перегрузке данными. Важно сосредоточиться на ключевых метриках, которые действительно отражают эффективность письма и помогают сделать выводы о его качестве.
В частности, стоит отслеживать:
В процессе тестирования важно обращать внимание не только на положительные изменения, но и на негативные сигналы. Например, если Open Rate вырос за счет кликбейтных заголовков, но при этом увеличился Unsubscribe Rate (количество отписок) или снизился Conversion Rate (конверсия), гипотеза считается проваленной. Также тревожным знаком может быть низкий CTR (кликабельность) при высокой открываемости. Успешная гипотеза должна улучшать ключевые метрики, не жертвуя качеством взаимодействия с аудиторией.
Чтобы доверять результатам тестирования в email-маркетинге, важно соблюдать определённые правила. Без правильной организации теста можно получить искажённые данные, которые приведут к ошибочным решениям. Вот ключевые принципы, которые помогут обеспечить корректность тестирования:
Соблюдение этих принципов позволяет обеспечить чистоту эксперимента. А это, в свою очередь, помогает избежать случайных выводов и гарантирует, что изменения в рассылке действительно работают на улучшение ключевых показателей.
Ошибкой будет считать победой любую разницу в цифрах. Если оценивать только «на глаз», это означает продолжение интуитивного подхода. Между тем здесь требуется математическая точность и уверенность в результатах настолько, насколько это возможно.
Для проверки любой гипотезы вам нужно выписать из итогового отчёта ровно два показателя по каждой группе (А и Б):
На основе этих данных можно сравнить эффективность вариантов и понять, какой из них показал лучший результат.
Пример данных:
Кажется, что вариант Б лучше на 25%. Однако у нас пока нет подтверждения, что это улучшение действительно надёжно и не является случайным. Чтобы сделать уверенный вывод, нужно провести дополнительную проверку.
Статистическая значимость — это показатель, который помогает определить, являются ли наблюдаемые различия между группами результатом реального эффекта, а не случайности. Статистическая значимость в email-маркетинге нужна, чтобы быть уверенным, что при отправке выбранного варианта письма на большую базу результат повторится, а не исчезнет.
В маркетинге принято считать результат достоверным, если значимость составляет 95% и выше. Это значит, что вероятность случайного совпадения — всего 5%.
Представьте, что вы подбросили монетку 10 раз, и 7 раз выпал орел. Значит ли это, что монетка волшебная? Нет, это просто случайность на малом количестве попыток. Если вы подбросите её 1 000 раз, будет 50/50. В email-маркетинге так же. Лишние 25 кликов в группе Б могли появиться случайно. Например, в этой группе оказалось на пару активных фанатов больше.
Считать статистическую значимость вручную вовсе необязательно. Для этого существуют специальные онлайн-калькуляторы. Например:
Если калькулятор показывает «Значимо», значит, одна из гипотез действительно работает лучше. Нужно выбрать ту, которая дала лучший результат. Если же показана оценка «Не значимо», то различия случайны, и ни одна из гипотез не превосходит другую.
Например, проверим варианты А и Б из приведённого выше примера. Калькулятор показывает, что они значимо не различаются. Соответственно, нет смысла отдавать предпочтение новому варианту. Лучше оставить текущий или продолжить поиск более эффективных решений.
В процессе анализа A/B тестов нужно учитывать «факторы», которые порой игнорируют. При этом они могут сильно влиять на результат.
Нельзя смотреть только на одну метрику. Иногда гипотеза «выигрывает» по одной цифре, но «проигрывает» по деньгам. Например, вы сделали кликбейтную тему «Ваш аккаунт заблокирован!». Open Rate (открытия) будет огромным, статзначимость — 100%. Но внутри люди увидят, что это реклама кроссовок, разозлятся и не купят ничего. Получается, что необходимо всегда проверять, не выросли ли отписки и жалобы на спам вместе с «успешным» показателем.
Нужно учитывать тайминг. Email-маркетинг имеет «хвост» дожития: люди не открывают письма мгновенно. К примеру, для B2C основной массив данных (около 80%) собирается в первые 24 часа и этого достаточно для простых тестов темы. А вот для B2B и сложных продуктов окно анализа увеличивается до 48–72 часов, поскольку цикл принятия решения и время прочтения писем длиннее.
Важно помнить о достаточном объёме данных. Не делайте выводы, пока не набрано минимум 100 целевых действий в каждой группе. Если данных меньше, любая «значимость» будет ложной и не отразит реальную картину.
Если ваша база пока не позволяет набрать 100 конверсий в группе, то не замораживайте тесты. Используйте правило «трёх повторений». В частности, проведите три коротких теста на разных сегментах. Если во всех трёх вариант Б обгоняет вариант А — это достаточный сигнал, чтобы внедрять, даже без строгой статзначимости.
Ошибки в A/B-тестировании чреваты потерей времени, денег или возможностей. Если возникает малейшее сомнение, лучше выполнить повторный тест. Это поможет избежать ложных выводов.
Даже отрицательный результат тестирования имеет значение для компании. Как минимум, он показывает, чего делать не нужно. Потому желательно вести базу знаний. Записывайте в неё все данные:
Наличие базы знаний защитит от повторения старых ошибок спустя какое-то время и сэкономит время, избавив от тестирования уже проверенных гипотез.
Когда гипотеза подтверждается и показывает положительный эффект, важно правильно внедрить её на более широкую аудиторию. Вот пошаговый план действий:
Такой подход позволит максимально эффективно использовать успешные гипотезы и минимизировать риски при их внедрении.
Тестирование гипотез в email-маркетинге является необходимой практикой для принятия обоснованных решений. Даже негативный результат теста полезен, поскольку он помогает исключить ошибочные варианты. Строя и проверяя различные гипотезы, вы можете оптимизировать процесс создания email-рассылок и повысить их эффективность.
При покупке или продлении тарифа «Стандарт» в Unisender добавляем крутые бонусы:
Искренние письма о работе и жизни, эксклюзивные кейсы и интервью с экспертами диджитала.
