С помощью A/B-тестов нашли темы для роста Open Rate до 5,5 процентного пункта
Какой бы ни была задача рассылки — она останется нерешённой, если пользователь не откроет письмо. Поэтому емейл-маркетологи тщательно следят за Open Rate и постоянно ищут способы его повысить. Популярный метод — A/B-тест: он наглядно показывает, какие подходы и приёмы работают лучше, хотя иногда для получения значимых результатов требуются целые серии экспериментов.
Расскажу о полугодовом тестировании, которое мы провели для рассылки «Х5 Клуба»: как мы искали гипотезы, организовали их проверку и что узнали в результате.
Задача
«X5 Клуб» — это программа лояльности X5 Group, которая включает сети «Пятёрочка», «Перекрёсток», «Чижик» и другие. Бренд использует CRM-коммуникации, чтобы повышать вовлечённость клиентов, увеличивать частоту покупок и средний чек с помощью напоминаний об инструментах программы лояльности (ПЛ).
О том, как мы в целом помогаем клиенту вести емейл-канал, рассказывали в этом кейсе.
Основная задача рассылки «X5 Клуба» — не продавать конкретную услугу, а постоянно поддерживать пользователя и повышать его осведомлённость о возможностях ПЛ. Поэтому для бренда особенно важны охваты, а открытие рассылки является субконверсией.
Субконверсия — действие, которое впоследствии приведёт пользователя к нужному результату. В нашем случае — например, к повышению уровня в ПЛ за счёт большего числа покупок.
При этом аудитория «X5 Клуба» охватывает миллионы пользователей с разными интересами, привычками и уровнями вовлечённости. В такой ситуации тестирование — лучший способ понять, какие темы привлекут больше внимания к рассылке. В начале 2024 года мы инициировали первые пробные тесты. Результат устроил клиента, и мы продолжили эксперименты на регулярной основе.
Гипотезы
Чтобы сформировать первичный пул гипотез, мы провели брейншторм с агентской командой проекта. Для него собрали историю тестов и материалы других проектов и изучили публичные кейсы емейл-рассылок в e-commerce.
Также мы учли специфику писем клиента. У «X5 Клуба» есть велком-цепочка и несколько акционных и информационных кампаний, которые повторяются каждый месяц.
Тип письма напрямую влияет на подход к выбору тем. Рассылки решают разные задачи, сопровождают клиентов на разных этапах воронки и обращаются к разным сегментам.
Например, велком-серия нацелена на создание первого контакта и доверительного отношения, поэтому для неё подойдут нейтральные и дружелюбные темы. В мотивирующих к действию офферах стоит подчёркивать уникальность и срочность предложений. А письмам-уведомлениям нужны короткие и информативные формулировки.
Аделина Амирзянова
руководитель группы копирайтинга EMAILMATRIX
После обсуждения с заказчиком мы остановились на четырёх гипотезах, которые посчитали самыми перспективными:
- Использование вопроса
Мы предположили, что вопросительные темы будут выделяться среди других сообщений в инбоксе и вызовут интерес. Получатель задумается над тем, каков ответ на вопрос, и это может побудить его открыть письмо.
- Использование эмодзи
Эмодзи помогают передать настроение письма — это способно вызывать у получателя эмоциональный отклик.
- Акцент на выгоде
По нашему опыту, люди охотнее реагируют на темы, которые явно демонстрируют выгоду, — например, экономию времени или денег, повышение комфорта, решение проблемы.
- Использование интриги
Интригующие формулировки вызывают любопытство, а это хороший триггер для открытия письма.
Методология
Для тестов мы использовали пять типов рассылок:
- Приветственная серия из трёх сообщений.
- Предложения потратить Апельсинки в торговых сетях X5 Group (Сети).
- Предложения потратить Апельсинки у партнёров программы (Партнёры).
- Напоминания для пользователей, которые не выбрали категорию повышенного кешбэка на текущий месяц (Любимая категория).
- Напоминания о возможности повысить уровень в ПЛ, сделав покупки на определённую сумму (Уровни).
Каждую гипотезу проверяли минимум на трёх отправках одной кампании, чтобы получить усреднённые данные. С учётом графика рассылок проверка одной гипотезы занимала от месяца до полутора.
На протяжении всего тестирования мы применяли схему, которая позволяла получить релевантные результаты и при этом не рисковать общим Open Rate в случае неудачи с новыми темами:
1. В первой отправке проводили тест на 20% базы. 80% подписчиков получали стандартную тему, по 10% — один из двух новых вариантов в соответствии с гипотезой.
2. Продолжали тестирование на 20% с двумя темами, если гипотеза не подтверждалась.
3. Использовали более конверсионную тему для основной части базы, если гипотеза оказывалась успешной.
Результаты
Использование вопроса
Вопросительные темы оказались лучше утвердительных в трёх кампаниях: третьем велком-емейле, предложениях сетей X5 Group и партнёров.
Использование эмодзи
Гипотеза о положительном влиянии эмодзи на открываемость подтвердилась только в двух кампаниях из шести — в первом велком-письме и предложениях партнёров.
В целом идея с эмодзи не показала статистической значимости. Аудитория почти одинаково реагировала на письма с ними и без. Вероятно, для пользователей, которые уже привыкли к сообщениям бренда, суть оффера важнее настроения рассылки. К тому же многие видят эмодзи в письмах разных брендов ежедневно, и этот приём больше не оказывает на них сильного влияния.
Поэтому в дальнейшем при формировании тем писем для «X5 Клуба» мы не делали ставку на эмодзи.
Акцент на выгоде
Здесь мы сравнивали нейтральные темы и темы, которые подчёркивают выгоду программы лояльности. Гипотеза подтвердилась для двух кампаний: Open Rate партнёрских офферов вырос на 1,3 процентного пункта, а напоминаний о любимой категории — сразу на 5,5!
Использование интриги
В большинстве кампаний лучшие результаты показали нейтральные темы, выбранные в результате предыдущих тестов. Интригующие формулировки оказались более конверсионными только для второго велком-письма и для офферов от сетей.
Выводы
За 6 месяцев тестирования мы выявили наиболее конверсионные темы, которые теперь используем на постоянной основе. Для шести кампаний из семи ими оказались новые варианты, предложенные в рамках гипотез. На тестах они показали рост Open Rate в диапазоне от 0,4 до 5,5 процентного пункта.
Вот как изменились темы по итогам тестов:
Наиболее состоятельными оказались гипотезы об использовании вопросов и акценте на выгоду. Также мы выяснили, что аудитория «Х5 Клуба» равнодушна к эмодзи.
В 2025 году мы продолжим A/B-тесты для повышения открываемости, а также кликабельности писем «X5 Клуба». Главный вектор — персонализация коммуникаций.
Отзыв клиента
Проведение регулярных A/B-тестов для выявления наиболее конверсионных тем и прехедеров дало значительный прирост в открываемости и подтвердило ряд гипотез. В течение полугода совместно с командой EMAILMATRIX мы протестировали 5 вариантов гипотез и более 130 тем, и вместе нам удалось выявить самые эффективные. Данный подход мы будем использовать во всех наших коммуникациях.
Александра Жмайлик
менеджер CRM-проектов «Х5 Клуб»
КОМАНДА
ПРОЕКТА
