800000 емейлов: оптимизация целевых страниц для емейл-кампании
В рамках первой в истории конференции по оптимизации и тестированию, организованной компанией MECLABS, исследовательской фирмой MarketingSherpa, интернет-лабораторией MarketingExperiments и компанией-продавцом программного обеспечения для интернет-маркетинга HubSpot, был проведен эксперимент. В нем были задействованы более 200 маркетологов — участников конференции.
Их задачей было непосредственно в ходе конференции протестировать и оптимизировать маркетинговую кампанию. В качестве объекта эксперимента выступало реальное предложение главного спонсора конференции, компании HubSpot (совместно с MarketingSherpa) — бесплатная глава из публикации MarketingSherpa 2011 года, посвященной оптимизации целевых страниц.
Целью кампании было получение более подробных сведений о существующем списке рассылки компании HubSpot и его расширение. Участники эксперимента должны были добиться повышения количества заполненных (на целевой странице емейл-кампании ) и отправленных форм.
Основная трудность эксперимента заключалась в том, что оптимизировать можно было лишь:
- Тема
- Изображение продукта
- Призыв к действию
- Рекламный текст
- Расположение элементов на странице
Стоит отметить еще один момент: если вы когда-нибудь участвовали в командном обсуждении проекта, то должны знать, как тяжело даже сотрудникам одного отдела прийти к единодушному решению. А теперь представьте, что произойдет, если попросить команду из 200 маркетологов принять единственно верное решение! Предвидя трудности, организаторы эксперимента разбили всех участников на небольшие группы (по 3-4 человека) и определили лимит времени, отпущенного на обсуждение (не более 15 минут). Результаты их работы анализировались, а варианты, выбранные наибольшим числом групп, использовались для оптимизации тестовой страницы.
Участники эксперимента большинством голосов определили, что предпочтительнее всего размещение достаточно короткого текста в одной колонке; сильный заголовок; призыв к действию, указывающий на выгоду предложения. Тестовая страница, содержащая эти элементы, должна была стать более эффективной, чем контрольная — она подчеркивала ценность предложения (конкретизируя, благодаря заголовку и изображению, характер контента, доступного для бесплатной загрузки). К тому же, сокращение текста и размещение его в виде единственной колонки облегчило задачу посетителей, помогло направить их внимание.
После создания тестового варианта страницы начался сам эксперимент. Участники разослали 800000 емейлов (по спискам рассылки MarketingExperiments, MarketingSherpa и HubSpot), опубликовали 4 поста в блогах, а также в Твиттере, где за обновлениями постов компании следит более 140000 пользователей. Это привлекло на страницу столько посетителей, что можно было спрогнозировать повышение уровня конвертации на 1%.
Экспериментальная кампания оказалась успешной — количество лидов, собранных на тестовой странице, увеличилось на 0,7% при 90-процентном уровне достоверности. Достижение это может показаться весьма скромным, но не стоит забывать о том, что компании предоставили лучшие списки рассылки и привлекли на целевые страницы только самых перспективных посетителей. Следовательно, даже небольшое увеличение количества лидов могло привести к значительному росту окупаемости инвестиций.
Нельзя не отметить и чрезвычайно высокий уровень конвертации кампании — 47% — т.е. практически каждый второй посетитель заполнил форму. Это означает, что посетители мотивированы, для них предложение было интересным изначально. А мотивация имеет непосредственное влияние на уровень конвертации в лиды. Если она высока, то посетители не обратят особого внимания и на неудачную целевую страницу — для них главное получить то, что они хотят. В данном случае мотивация была очень высокой, поэтому сложно было ожидать больших различий в уровне конвертации тестовой и контрольной страниц.
Успех постепенно нарастал, участники эксперимента каждый час собирали данные. К вечеру первого дня казалось, что победитель уже определен — в 23:50 тестовый вариант работал на 5% эффективнее контрольного, достигнув при этом 93-процентного уровня достоверности. Маркетологи уже готовы были праздновать победу. Но потом что-то пошло не так.
Утром оказалось, что все изменилось.
Уровень конвертации тестового варианта страницы, выросший накануне до 51%, резко снизился и едва достигал 34%. Результаты полностью изменились, поскольку тестовый и контрольный варианты были связаны между собой. Уровень достоверности опустился ниже 70%.
Что же произошло? Неужели поведение посетителей так резко изменилось за ночь? Или на ход эксперимента оказал влияние какой-то внешний фактор?
Внимательно изучив собранные данные, участники заметили интересное отклонение: ночью, за 7 часов, количество посетителей тестовой страницы превысило количество посетителей контрольной страницы на 44%, несмотря на то, что в эксперименте был задействован специальный сплиттер, разбивающий трафик поровну на две страницы.
Откуда же взялись такие колебания?
Сначала участники решили, что сам сплиттер по какой-то причине работал неправильно. Но, с другой стороны, трафик распределялся неравномерно лишь в определенные временные промежутки, в остальное время тестовая и контрольная страницы получали равный объем трафика. Если бы проблема была в сплиттере, то трафик не распределялся бы равномерно вовсе.
Подобные колебания обычно говорят о том, что кто-то запустил параллельную кампанию и направляет на тестовую страницу посторонний трафик, сообщает начальник научно-исследовательского управления MECLABS Боб Кемпер. Однако ни один из отделов компаний-организаторов не запускал никакой кампании, весь трафик направлялся на страницу-сплиттер.
И вдруг одного из участников эксперимента осенило! Потом, конечно, этот ответ стал казаться очевидным, но в тот момент он был настоящим открытием. Никто из организаторов или участников не направлял посторонний трафик на страницы. Это делали сами посетители, получившие емейлы в начале кампании! Они рассказывали своим друзьям и знакомым о предложении, но давали ссылку не на страницу-сплиттер, а непосредственно на тестовую или контрольную страницы.
Эта проблема указала участникам на недостаток тестовой страницы и стала отличным примером того, как из-за небольшой недоработки результаты реальной кампании могут оказаться недостоверными. В данном эксперименте участникам встретилась одна из наиболее распространенных ошибок, нарушающих достоверность — систематическая ошибка отбора (показывает, что выводы, сделанные применительно к какой-либо группе, могут оказаться неточными вследствие неправильного отбора в эту группу). Участники могли бы обрадоваться 175-процентному росту уровня конвертации при уровне достоверности 95% и сделать неправильные выводы, если бы упустили из виду вышеупомянутую статистическую ошибку.
Даже лучшие страницы могут подвергаться влиянию непредсказуемых внешних факторов. Но не стоит прекращать тестирование из-за возникающих проблем. Наоборот, они должны побуждать вас тестировать дальше, вносить изменения, оптимизировать, добиваться лучшего результата. Участник эксперимента, догадавшийся о природе проблемы, сумел, не обладая специальными знаниями или опытом, верно интерпретировать статистические данные — значит, и вы справитесь! Внимание к статистике помогает найти ответы на вопросы, на первый взгляд кажущиеся затруднительными.
Подводя итоги, участники отметили, что в теории эксперимент был не таким уж и сложным. Но на практике оказалось, что может возникнуть множество непредвиденных проблем. Делясь впечатлениями, они сравнивали себя с детьми, сидящими на краешке стула и напряженно следящими за развитием сюжета какого-нибудь захватывающего фантастического фильма. Реальные люди + реальное предложение = непредсказуемые результаты. На ход кампании и достоверность ее результатов могут оказывать значительное влияние различные внешние факторы. Однако именно непредсказуемость и сложность сделали этот эксперимент чрезвычайно интересным.
