Формулируем гипотезы для сплит-теста
Сплит-тестирование (A/B-тестирование) является одним из важных способов повышения показателей — как в емейл-маркетинге, так и в мире интернет-маркетинга. При этом довольно часто сплит-тесты проводятся некорректно, не дают статистически значимого результата, да и просто оказываются бессмысленными для самой идеи конкретного тестирования. В этой статье мы расскажем об одном из ключевых пунктов проведения А/В-теста — правильном выборе гипотезы для сплит-теста.
Что такое гипотезы для сплит-теста?
Гипотеза — это предположение об изменении чего-либо на вашем сайте/в емейл-рассылках и о желаемых/планируемых результатах такого изменения. Сплит-тестирование гипотезу опровергнет или подтвердит. А также поможет спрогнозировать поведение подписчиков.
Как мы выдвигаем гипотезу?
- Определяем бизнес-задачи компании — вы должны чётко их знать с самого начала ☺ При этом задачи должны быть понятными, достижимыми и измеримыми. Пример бизнес-задачи для магазина цветов — «увеличить количество продаж цветов с помощью онлайн-заказа букета».
- Определяем задачи предельно чётко, например:
- увеличить количество переходов из рассылки;
- снизить количество ошибок доставки на письме подтверждения заказа;
- увеличить показатель открытий.
Задачи емейл-рассылки — это ваши приоритеты, перед тестированием нужно понимать, как вы будете измерять показатели. Неважно, будет ли это замеряться в платформе рассылок или в аккаунте Google Analytics.
После того как стали ясны задачи, выбираем показатель эффективности, над увеличением которого мы будем работать в этом А/В-тестировании. То, что, по нашему мнению, мешает рассылке достигнуть более высоких показателей.
Начинаем формулировать саму гипотезу, состоящую из двух частей:
- Предполагаемая проблема подписчика и вероятный способ её решения.
- Планируемые результаты, которые будут достигнуты после решения проблемы пользователя.
Разберём простой пример: рассылка с предложением скачать whitepaper с исследованием рынка емейл-маркетинга. Само по себе исследование крайне интересное и нужное, но подписчики этого не знают, они занятые люди и не могут тратить время на какой-то ненужный им материал.
Что мы имеем:
- Целевой показатель рассылки — количество переходов по кнопке «Скачать исследование».
- Проблема: пользователи постоянно спешат и не могут выделить время на просмотр исследования, время и занятость мешают скачиванию.
Соединение целевого показателя рассылки и проблемы поможет сформулировать гипотезу. Предположим, что указание времени прочтения сильнее мотивирует к скачиванию. На основе этой гипотезы попробуем заменить вводный текст рассылки.
Было:
«Прочтите исследование рынка емейл-маркетинга и будьте в курсе последних трендов, статистики и результатов».
Стало:
«Прочтите исследование рынка емейл-маркетинга за 6 минут и будьте в курсе последних трендов, статистики и результатов».
Таким текстом мы снимаем проблему + тестируем только один вариант, соответственно, сможем отследить влияние такого изменения на показатель переходов из письма.
Что можно тестировать?
Бизнес-задачи в каждой компании свои, поэтому цели емейл-маркетинга также разнятся. Это значит, что разным компаниям важны разные показатели. Но есть стандартные элементы, которые влияют на основные метрики — показатель открытий и кликов.
Для увеличения этих параметров можно тестировать:
- Длину темы письма. Короткая тема может выглядеть лучше на мобильных устройствах, а в длинной теме вы можете дать больше информации. Что работает лучше — узнаем после теста.
- Персонализацию темы сообщения — может быть, добавление в тему информации о городе получателя или его прошлых покупках увеличит показатель открытий?
- Изменения имени отправителя — можно попробовать отправлять как от имени бренда, так и от имени конкретного сотрудника.
- Изменение дня недели. По статистике Listrak, наименьшее количество отправленных писем в субботу и воскресенье, но при этом показатель конверсии остаётся на прежнем уровне, а ROI — увеличивается относительно будних дней. Может быть, такая тактика оправдает себя и для вас? На изображении ниже как раз показан результат одного из таких тестов по дням — и видно, что воскресенье является более удачным днём для рассылки у этой компании.
Для нашего клиента, сети зоомагазинов «Четыре лапы», мы рассылали письма по вторникам и четвергам — ну, так сложилось. Однако мы понимали, что предположение о том, что эти дни самые эффективные, может быть неверным. Поэтому мы провели сплит-тест и выяснили, какой же день отправки нам всё-таки стоит выбрать.
Мы разделили базу подписчиков на несколько равных частей (по одной на каждый будний день) и в течение недели рассылали одно и то же письмо, равными порциями. Итог оказался неожиданным: open rate и CTR во вторник были самыми низкими, а самым эффективным днём оказалась пятница — open rate и CTR в этот день оказались в 1,5–2 раза выше.
- Можно тестировать время суток по аналогии с днём недели и выяснить, в какое время максимальна конверсия в покупку, а в какое — показатель открытий, что идеально для отправки новостей.
- Внутри письма можно тестировать любые из элементов контента — призывы к действию, цвета кнопок, фона, текста, размеры шрифта и изображений товаров, расположение товарной сетки.Как пример тестирования призыва к действию можно привести тест формы подписки:
В данном тесте вариант Start my free subscription снизил конверсию в подписку на 22,9 % всего за два дня. По нашему мнению, это произошло потому, что «Бесплатная подписка» несёт для пользователя гораздо меньше ценности, чем «Бесплатный отчёт». Да и само слово «подписка» сейчас может напугать кого угодно.
Но при этом обратите внимание, что в обоих вариантах отличается только один элемент — и только так и нужно проводить А/В-тестирование. Одновременный тест нескольких вариантов, скорее всего, не даст вам статистически значимого результата.
Кроме этого можно придумать ещё кучу вариантов элементов для тестирования, но давайте оставим это вам.
Что нужно помнить ещё: бывает, что ваша гипотеза не оправдывается и только ухудшает статистику. В такой ситуации нельзя опускать руки и говорить «Мой тест не сработал». На самом деле даже отрицательная динамика может очень много рассказать вам о ваших пользователях и дать пищу для дальнейшей оптимизации кампаний.
И помните, гипотеза обязательно решает конкретную проблему или задачу пользователя и при этом даёт вам возможность применить полученные знания в дальнейшем.
Если емейл-канал работает не эффективно, обращайтесь к нам. Проведём А/В-тестирование и узнаем, что пошло не так.
