Истории

Как сервис онлайн-обучения Udemy увеличил продажи на 150% за счёт А/Б тестирования писем

Что такое хороший А/Б-тест?

Сплит-тестирование или А/Б-тесты есть практически во всех сервисах email-рассылок. Как подойти к этому процессу правильно, чтобы получить максимум от тестирования писем – узнайте из истории Джимми Дэйли про внедрение A/Б-тестов в Udemy.

Что такое хороший А/Б тест?

Для начала рассмотрим научный метод, заложенный в основу тестов, приносящих значимые результаты.

Вот краткое определение научного метода на ScienceBuddies.org:

«Научный метод – экспериментальный процесс, используемый для изучения наблюдений и поиска ответов на вопросы. Учёные используют научные методы для выявления причинно-следственных связей в природе. Другими словами, они делают эксперименты таким образом, чтобы изменения в одном элементе приводили к последующим предсказуемым изменениям в результате».

Давайте посмотрим, насколько это применимо к маркетингу, и, в частности, к email-маркетингу.

  • Задаём вопрос. Почему по нашим письмам не кликает больше людей?
  • Проводим исследование. Какой текст используется в лучших письмах отрасли?
  • Выдвигаем гипотезу. По нашим письмам будут кликать больше людей, если задействовать поведенческие данные.
  • Тест с экспериментом. Протестируем текст, который есть сейчас (контрольный вариант) и сравним его с новым, динамически генерируемым (тестовый вариант).
  • Анализируем данные и делаем выводы. Тексты писем, сформированные на основе поведенческих данных, приводят к увеличению количества кликов.
  • Применяем на практике. Внедряем поведенческие данные в email-кампании и переходим к следующему тесту.

При правильном исполнении А/Б тестирование даёт прирост в геометрической прогрессии.

Суть в том, чтобы создать серию приветственных писем, а также рассылок для работы с жизненным циклом клиентов (lifecycle emails) и писем для их удержания. А затем тщательно тестировать все их элементы. То есть, изменять не только тему письма, как это обычно делается в большинстве случаев.

Тестирование разовых писем даёт и выводы на один раз

Если бы вы рассылали эту же кампанию ещё раз, то смогли улучшить её. Так как вы этого не делаете, значит, у вас и не будет возможности применить полученные знания в последующих письмах.

При этом, тестируя автоматизированные кампании, можно постоянно улучшать результат. Поток новых пользователей даёт постоянную обратную связь, и если следить за данными, то можно регулярно обновлять текст (картинки, кнопки, триггеры и тайминг), подбирая наилучшие вариации для рассылки.

И также важно учитывать, что тестирование незначительных деталей даёт и несущественные отличия в результатах.

Как писал Ной Каган (Noah Kagan) в блоге Visual Website Optimizer, «лишь 1/8 А/Б тестов показывают существенную разницу. Если вы не Amazon или TripAdvisor, то для ваших объёмов данных вряд ли имеют значение десятые доли в результатах. Если у Письма А показатель переходов 15,2%, а у Письма Б – 14,8%, то можно ли говорить, что Письмо А успешнее? Здесь не скажешь однозначно, и, скорее всего, ваш А/Б тест был недостаточно тщательным».

Udemy: А/Б тестирование в действии

Для тестов Udemy использует большую пользовательскую базу из 7 млн студентов. Это позволяет получать осмысленные результаты, которые затем используются в email-кампаниях.

Менеджер по email-маркетингу в Udemy, Джен Ри (Jen Rhee) любезно поделилась с нами результатами двух недавних А/Б тестов. Джен – один из лидеров в этой быстрорастущей организации, и наша беседа показала, как методично она подходит к развитию системы рассылок.

Посмотрим на примеры.

Пример 1: Приветственные письма

Мы часто слышим, что приветственные письма задают тон взаимоотношений с новыми пользователями, но Джен подтверждает это данными.

Она выяснила, что прибыль, полученная за первую неделю, связана с увеличением жизненной ценности клиента (CLV или customer lifetime value). Это значит, что приветственные письма как траектория для последующих взаимоотношений. Но они также могут быть и препятствием для их создания.

Чтобы улучшить эти письма, Джен сравнила существующие приветственные письма с новыми. Контрольное письмо предлагало новым подписчикам 50%-ю скидку на курсы. Заманчивое предложение, однако раскрыто не до конца. Хотя в письме рекомендуют несколько курсов, заголовок письма слишком общий.Пример 1

Джен предполагала, что если сразу же предложить подходящий курс, это увеличит краткосрочную прибыль, повысит пожизненную ценность и предоставит клиенту хороший опыт взаимодействия.

В тестовом письме использовались поведенческие данные, и пользователю рекомендовали именно тот курс, которым он интересовался ранее. Джен сделала шаблон, в котором этот курс подставлялся в начало письма вместе с купоном на скидку в 50%.

пример предложения

Перед тем как раскрыть вам результаты, предположу, что вы наверняка уже догадались, какое письмо сработало лучше. Джен думала так же, но всё равно провела тест. Предположения – это необоснованные догадки, которые лучше подкрепить фактами.

Как и ожидалось, второе письмо дало просто ошеломительный результат: на 150% больше прибыли за первую неделю и на 94% — за первые 30 дней.

Вывод: поведенческие данные обеспечивают контекст письма. Их содержание уникально при каждой отправке. Это и есть персонализация в лучшем виде. Рекомендация конкретного курса вместо скидочного купона минимизирует сомнения в процессе покупки, и позволяет новым пользователям поскорее начать обучение.

Пример 2: Письма активации (Lifecycle-emails)

В маркетинге вы или сопротивляетесь инерции, или набираете обороты.

Email-рассылки — один из основных способов набрать обороты, который к тому же позволяет получить радостных и вовлечённых клиентов. С этими мыслями Джен решила протестировать email-кампанию, которая запускалась после первой покупки.

«У нас было понимание того, что пользователи покупают курсы с определенной целью», — рассказывает Джен. «Если покупают курс по Photoshop – значит, хотят заниматься дизайном. Если курс о разработке приложений — значит, хотят создавать приложения».

Чтобы улучшить активационные письма для Udemy, Джен провела ещё один тест, похожий на тот, что мы разобрали выше. В существующей кампании предлагался промокод с обобщённым призывом «Discover Courses» («Откройте для себя курсы»).

пример с промокодом

В противовес был взят заголовок с акцентом на выгоду, которую получит пользователь при покупке курса по разработке приложений: «Создайте приложение, которое захочет каждый». И, разумеется, промокод.

акцент на выгоду

Как вы догадались, второе письмо также стало хитом. Оно принесло на 60% больше краткосрочной, и на 132% больше долгосрочной прибыли.

Вывод: как сказала Джен, «творческий подход к целям студентов дал лучший результат, чем попытка подкупить их скидкой». Эти тесты стали для Udemy классическим кейсом, который в компании использовали для увеличения пожизненной ценности клиента.

Секретный ингредиент

Ключ к успеху в этих кейсах вовсе не в креативных идеях и не в проведении тестов как таковом.

Важно то, что Джен систематически собирала данные и применяла их ради улучшения писем. Последующие кампании приносили ещё больше данных, и давали возможность протестировать новые идеи.

А/Б тестирование – это постоянный цикл, а не разовая задача. Не ждите значительных результатов, протестировав и изменив заголовок в одной рассылке.

Реальные результаты кроются в культуре тестирования и приверженности к систематической работе с данными.

Источник: getvero.com

Хотите так же?