Кейс: есть работающая up sell цепочка писем. Мы определили, что достаточно будет более 500 конверсий в покупку с контрольной аудитории, чтобы замерить инкрементальность. Размер сегмента — 110 000 подписчиков, из них мы выделяем 9,091% отдельным сегментом (10 000 подписчиков), на который данную цепочку не отправляем.
В конце месяца узнаем, что 100 000 подписчиков совершили 5 000 конверсий, а тестовый сегмент в 10 000 подписчиков принес 700 конверсий.
Вывод — рассылка, возможно, лишняя и ее не стоит продолжать делать. Аудитория настолько прогрета, что совершает покупки и без письма. Скорее всего, достаточно того, что уже отправляется — запускать лишнюю цепочку не стоит.
Но насколько значимы эти результаты и можем ли мы точно остановить тест? Для оценки, взяли 2 калькулятора для правильного теста:
Калькулятор VWO, который указывает, что тест статистически значим:

Калькулятор AB Testguide, который также подтвердил значимость теста

Тест значим — можем измерить инкрементальность по знакомому алгоритму.
Как думаете — есть смысл считать инкрементальность?
В комментарии