Маркетинговые гипотезы в рассылках: как найти, сформулировать и протестировать
Чтобы избежать ошибок при внедрении новшеств, маркетологи тестируют гипотезы. Проверяют идеи любого масштаба: от изменения темы письма до внедрения персональных рекомендаций. В статье мы разберём, как работать с гипотезами в емейл-рассылках: выбирать перспективные идеи, формулировать и тестировать их.
Что такое маркетинговые гипотезы и зачем их проверять
Гипотеза — это предположение, основанное на данных, которое можно подтвердить или опровергнуть. Например, вы считаете, что блок с промокодом в начале письма увеличит конверсию, и для проверки запускаете A/B-тест. Даже если предположение кажется верным, пока вы его не докажете, это лишь гипотеза.
Работа с гипотезами помогает:
Тестировать идеи в безопасном пространстве. Так в случае ошибки вы ничего не потеряете.
Выявить потребности аудитории. Бывает так, что во время тестирования появляются новые данные. Например, мы тестировали предположение на всей аудитории, но гипотеза отработала только среди новичков.
Оценить спрос на новый продукт или услугу.
Сместить фокус на перспективные идеи.
Проверить гипотезу на небольшой группе всегда дешевле, чем исправлять ошибки после запуска. Тестирование перед внедрением помогает сэкономить бюджет и избежать потери лояльности из-за неудачного решения.
Типы гипотез в маркетинге
Гипотезы делят на несколько групп в зависимости от того, какие факторы будет анализировать маркетолог.
Гипотезы проверяют, насколько продукт нужен клиенту и какие проблемы он может решить. Исследование ценности помогает скорректировать продвижение продукта, протестировать новые тематики для рассылок и отследить их эффект.
Пример. Рассылка с персональным планом тренировок на третий день бесплатного пробного периода в фитнес-приложении увеличит конверсию из триал-версии в подписку на 3%.
Спрос
Гипотезы исследуют потребности целевой аудитории и интерес к продукту. В рамках тестирования проверяют новые темы, тренды, модернизируют контент и отслеживают влияние изменений на аудиторию.
Пример. Блок с товарными рекомендациями в письме увеличит конверсию кликов на 5%.
Монетизация
Гипотезы выявляют факторы, которые влияют на решение о покупке. Сюда относят тестирование разных офферов, скидок, дополнительных функций.
Пример. Скидка 20% на товары в брошенной корзине увеличит средний чек на 10%.
Контент и каналы коммуникации
Гипотезы помогают определить, как и по каким каналам эффективнее продвигать продукт. При тестировании можно выяснить, в каком канале можно дотянуться до определённого сегмента, какие предложения лучше отправлять через письма, а какие — через пуши и СМС.
Пример. СМС со скидкой на заказ имеет конверсию на 5% выше, чем пуш с такой же скидкой.
UX/UI-аналитика и юзабилити
Гипотеза помогает понять, как клиенты реагируют на изменения интерфейса. Для рассылок это изменение дизайна и перестроение блоков в письме.
Пример. Если в письмо с напоминанием о тренировке мы добавим кнопку «Начать тренировку сейчас», ведущую в плеер приложения, то на треть увеличим процент переходов к занятиям.
Как формулировать гипотезы: пошаговый алгоритм
Сформулированная гипотеза исходит из идеи. Но в отличие от неё включает два компонента: конкретику и измеримый результат.
Идея — это абстрактное предположение. Например, мы видим снижение количества ответов в форме CSI. Возникает мысль: а что, если сократить количество вопросов, будет ли больше ответов от пользователей?
Чтобы превратить идею в гипотезу, маркетолог проводит исследование — анализирует данные и отслеживает изменения. По итогу получается формулировка: если сократить количество вопросов до двух, количество ответов возрастёт на 10% за три месяца.
Ещё примеры формулировок:
| Идея | Гипотеза |
|---|---|
Приветственные письма помогут сформировать лояльность нового пользователя | Велком-цепочка за месяц увеличит количество заказов от новых пользователей на 3% |
Короткие письма показывают лучший результат, потому что внимание сконцентрировано на оффере | В макете на один экран смартфона конверсия будет выше на 5% по сравнению с длинным макетом на несколько экранов |
Разберём на примере, как создать гипотезу. Ситуация: за последние три месяца в емейл-рассылках интернет-магазина резко снизились оценки CSI.
Составляем гипотезу за 7 шагов:
Выявляем проблему. После анализа данных мы увидели, что именно новые подписчики ставят письмам низкие оценки. Поведение остальных сегментов не изменилось.
Выбираем цель. Увеличить лояльность новичков к рассылкам.
Определяем метрику для проработки. Будем восстанавливать CSI. Чтобы отследить скрытые проблемы, также начнём мониторить смежные метрики — Retention Rate и Churn Rate.
Определяем реалистичный ожидаемый эффект. Для этого можно изучить маркетинговые исследования, кейсы конкурентов, статистику, CJM-карту, отзывы клиентов. К примеру, статистика показала, что полгода назад CSI был выше на 10%, — значит, вернуться к этому уровню наиболее вероятно.
Ищем способы, как достичь результата. Для этого изучаем, что влияет на ситуацию, и разрабатываем варианты решения проблемы. В нашем случае определяем, что изменилось для новичков за последние три месяца, и выявляем триггеры, которые снизили лояльность. Мы выяснили, что вместо процентной скидки на первый заказ стали предлагать рублёвый оффер.
Устанавливаем дедлайн для проверки. Это нужно, чтобы тестирование и анализ результатов не затягивались на неопределённый срок.
Формулируем гипотезу. Условие должно быть конкретным и основанным на контексте ситуации, результат — достижимым и измеримым.
Получаем гипотезу:
Из-за смены оффера с процентного на рублёвый снизились оценки CSI у новых пользователей. Если вернуть новичкам процентную скидку на первый заказ, за два месяца CSI увеличится на 10%.
Готовая гипотеза должна соответствовать трём критериям:
Чёткая формулировка. Гипотеза основана на данных и строится на связи между действием и результатом: если внедрить это изменение, получим такой итог.
Возможность проверки. По гипотезе можно провести эксперимент и собрать данные. Бывает так, что отследить результат не получается: нет инструмента для аналитики, не хватает времени и ресурсов.
Соответствие целям бизнеса. Предположение решает конкретную задачу: увеличить конверсию, повысить лояльность, сократить расходы.
Как отбирать перспективные гипотезы
Чтобы выбрать перспективные гипотезы, используются специальные методы оценки. Рассмотрим самые популярные из них.
ICE (RICE)
Метод подходит для приоритизации гипотез в любой сфере. Он оценивает предположение по трём характеристикам:
Воздействие (Impact). Как сильно изменение влияет на покупателей или пользователей услуг.
Уверенность (Confidence). Насколько мы уверены, что предположение покажет ожидаемый результат.
Усилия (Effort). Сколько ресурсов уйдёт для тестирования гипотезы.
Иногда добавляют параметр Охват (Reach), чтобы выяснить, какое количество людей затронет изменение. Каждый параметр оценивают по шкале от 1 до 10, опираясь на статистику и прошлые эксперименты. Для результата перемножают значения:
Формулу можно менять под свой проект и вводить индивидуальные параметры. Например, нам важно оценивать стоимость лида и конверсию в продажи:
Результаты сравнивают, побеждает гипотеза с самой высокой оценкой.
Lean
Метод помогает быстро расставить приоритеты при нехватке времени на исследования. Его назначение — выбрать гипотезы с максимальной ценностью и отбросить ненужную трату ресурсов. Для оценки составляют матрицу «Эффект — затраты».
В матрице «Эффект — затраты» гипотезы оценивают по количеству приложенных усилий и соответствию запросам пользователя.
Ось «Эффект» показывает ценность для клиента, ось «Усилие» — количество затраченных ресурсов. На основе данных гипотезы оценивают и размещают по группам. В работу берут гипотезы из области «Сделайте сейчас» — они требуют меньше всего ресурсов и соответствуют запросам клиентов. Остальные идеи откладывают на потом.
Как тестировать гипотезы
Тестирование гипотез проводят с помощью разных методов в зависимости от целей и ресурсов. Самыми популярными являются A/B-тесты и HADI-циклы.
A/B-тест
Суть тестирования в том, что в одинаковых условиях (время отправки, сегмент) проверяют разные предположения: размер оффера, длину письма и другие изменения. Вариации тестов:
A/B-тестирование — эксперимент с контрольной и целевой группой. Группа А (контрольная) получает текущий вариант рассылки, группа B (целевая) — изменённый.
ABC — эксперимент с одной контрольной (A) и несколькими целевыми группами (B, C). Проверяет больше вариантов, но усложняет анализ результатов.
Свитчбэк — метод, когда изменения внедряют только для ограниченной группы клиентов. Например, внедряют новое только в рассылки для активных пользователей и, если негатива не было, меняют в остальных сегментах.
Сплит-тесты чаще всего проводят в платформах для рассылки с помощью внутреннего инструмента тестирования, реже — делают отправки вручную и сравнивают варианты.
Чтобы для аналитики было достаточно данных, важно рассчитать размер выборки. Для этого удобно использовать калькулятор Mindbox. При расчёте вручную в выборку включают от 2 до 30% всех пользователей, с которыми ведут коммуникации. Из них выбирают сегмент получателей, делят его поровну и запускают рассылку на обе группы.
HADI-циклы
Процесс непрерывного тестирования гипотез называют HADI-циклом. Цель метода — сформировать жизнеспособную гипотезу на основе результатов тестирования предыдущей версии. Цикл начинается с тестирования отобранной гипотезы, и в процессе проверки формулировка и условия корректируются до достижения ожидаемого результата.
Аббревиатура состоит из названий этапов работы:
Hypothesis — формирование гипотезы;
Action — проверка предположения;
Data — получение данных для анализа;
Insights — интерпретация результата и формирование следующей гипотезы.
После получения инсайтов процесс запускается сначала. Маркетолог анализирует результаты и использует их для новой гипотезы.
Процесс непрерывного тестирования мы опробовали для крупного российского банка. Мы разработали более 30 гипотез для внедрения персонализации в триггерные письма по пяти направлениям. В результате из подтверждённых гипотез мы составили пошаговый план развития триггерных коммуникаций на конкретном участке воронки.
Как оценить результаты экспериментов
Результаты эксперимента оцениваются в два этапа. На первом этапе для оценки тестирования формулируют две гипотезы:
Нулевая гипотеза H(0) утверждает, что разницы между контрольной и тестовой группой нет или она случайна. Это гипотеза, которая принимается по умолчанию.
Альтернативная гипотеза H(1) говорит о том, что разница есть и она неслучайна. Эту гипотезу нужно доказать.
Также определяют уровень значимости — это показатель, который устанавливает приемлемое количество отклонений от гипотезы. Чаще всего указывают 5% — это значит, что в 5 случаях из 100 возможны экстремальные значения, которые не опровергают нулевую гипотезу. В калькуляторе Mindbox этому соответствует уровень достоверности: из 100% вычитают уровень значимости и вводят полученное значение.
Второй этап проверки — оценка статистической значимости и подведение итогов. Именно статзначимость показывает, что результат не является случайным и тест достоверный.
В итоге мы можем получить три результата тестирования:
гипотеза подтвердилась,
гипотеза не подтвердилась,
эксперимент не показал статистической значимости.
При подведении итогов есть два основных типа ошибок:
Ошибка первого рода — когда верная нулевая гипотеза отвергается. В этом случае мы видим изменения там, где их нет, и масштабируем то, что неэффективно.
Ошибка второго рода — когда неверная нулевая гипотеза принимается. В этом случае мы не замечаем реального эффекта и отказываемся от масштабирования верного предположения.
Гипотеза подтверждается, если эксперимент является статистически значимым и предполагаемый результат победил в тестировании.
Гипотеза не подтверждается, если при статистической значимости теста победил другой вариант или у обоих вариантов одинаковое количество ответов. В этом случае продлевают время тестирования, добавляют пользователей в фокус-группы и собирают больше данных. Если гипотеза продолжает проигрывать в тесте, то переходят к анализу причин и на основе данных формулируют новую гипотезу.
Если статистическая значимость эксперимента небольшая и данных для анализа не хватает, можно подвести итоги с помощью Z-теста, где работаем с нулевой и альтернативной гипотезой. Когда разница в метриках меньше установленного уровня значимости, нулевая гипотеза считается верной.
Например, мы проанализировали конверсию в заказ между письмами с персональной подборкой товаров и без неё. Нулевая гипотеза утверждала, что конверсия будет одинаковой, а альтернативная — что персональная подборка товаров даст больше заказов. После теста письмо с рекомендациями показало конверсию 7%, а обычное промописьмо — 6,5%. Статистической разницы нет, из чего делаем вывод, что персональные рекомендации не влияют на заказы пользователей.
Наши кейсы с тестированием гипотез
Для «X5 Клуба» мы исследовали факторы, которые влияют на Open Rate рассылок. Бренд приравнивает открытия писем к субконверсии, поэтому мы искали способы улучшить эту метрику.
Субконверсия — действие, которое впоследствии приведёт пользователя к нужному результату. В нашем случае, например, к повышению уровня в ПЛ за счёт большего числа покупок.
После обсуждения с клиентом выделили четыре объекта тестирования:
использование вопроса в теме письма,
акцент на выгоде,
использование эмодзи,
интрига в теме.
В результате гипотезы про вопрос в теме, акцент на выгоде и интригующие заголовки подтвердились в части рассылок. Самый впечатляющий результат показала рассылка с напоминанием выбрать повышенную категорию кешбэка — в ней темы с акцентом на выгоде повысили Open Rate на 5,5 процентных пункта.
Вот как изменились темы после тестов:
Для «ВинЛаб» мы протестировали частоту отправок в триггерных цепочках. Изначально сценарии брошенного просмотра и категории срабатывали только раз в неделю. Мы предположили, что ежедневная отправка может повысить конверсию в заказ. В результате предположение подтвердилось: подросли все метрики, а выручка — аж в 2,74 раза:
Частые ошибки и как их исправить
Гипотеза не соответствует бизнес-целям. Даже если она подтвердилась, это не принесёт выгоды компании. Убедитесь, что решается конкретная задача: увеличить конверсию, повысить лояльность, сократить расходы.
Слишком общая формулировка гипотезы. Делайте точные формулировки с ожидаемым результатом в цифрах и со сроками тестирования. Только так вы поймёте, успешно ли прошло тестирование.
Тестирование больше одного изменения. Если проверять частоту рассылки и тему письма одновременно, будет непонятно, что именно повлияло на результат. Проверяйте только одну гипотезу в каждом тесте.
Неправильно расставленные приоритеты. Если гипотезы не приоритизировать, то можно пропустить перспективную идею. Используйте методы RICE (ICE) или Lean, чтобы выбрать удачную гипотезу для тестирования.
Мало времени для теста. Делать выводы после разового запуска — ошибка. Рассылки отправляют не меньше трёх раз, а результаты анализируют в течение двух недель. Это помогает набрать достаточное количество данных и избежать случайных выводов.
Неполная проверка данных. По ключевой метрике результаты высокие, а смежные, наоборот, провалились. Анализируйте смежные метрики: вместе с переходами смотрите конверсию, вместе с открытиями — клики. Дополнительные данные помогут сделать выводы при спорных результатах тестирования или небольшой разнице между группами.
Частые вопросы по теме
Сколько времени должен идти тест?
Зависит от изменения, которое тестируют. Минимальный срок — 2 недели, а рассылки нужно отправить не менее трёх раз. Подводить итоги можно через 2 дня после завершения тестов.
Почему гипотеза может не сработать?
Чтобы выяснить причины, проанализируйте детали теста: длительность, размер и аудиторию выборки, трафик, технические неполадки, внешние факторы, полноту данных. Причина может скрываться в самой гипотезе: например, слишком общая формулировка.
Иногда гипотеза не подтверждается, но при анализе данных маркетолог получает ценные результаты, переформулирует гипотезу и добивается успеха при следующей попытке.
Как часто нужно проверять гипотезы?
Зависит от того, как выстроены процессы внутри компании. Если ресурсов хватает и аудитории не пересекаются, можно тестировать даже ежедневно.
Сколько гипотез можно тестировать одновременно?
Зависит от методологии и объёма трафика. Мультивариантное тестирование позволит проверить несколько гипотез, а предположения для разных каналов и сегментов можно тестировать параллельно.
Как масштабировать гипотезу?
Если гипотеза показала хорошие результаты в одном сегменте, можно проверить её в другом. Проанализировать воронку, найти похожие сценарии. Масштабирование опирается на данные и требует аккуратной поэтапной проверки.
