Сплит-тестирование

Сплит-тестирование позволяет сравнить несколько вариантов письма и выбрать тот, который будет работать лучше. Тесты проводятся на части подписной базы (обычно не более 20%). Во время тестов рекомендуется проверять только один элемент кампании (например, заголовок, текст письма, подпись или время рассылки).

Как это делается?

Сплит-тестирование позволяет определить тот контент и подачу информации, которая даст наилучший результат. Примерный алгоритм любого сплит-теста:
Выдвижение гипотезы – варианты решений – проверка – измерение – апгрейд – новая гипотеза [1].
Важно, чтобы в одном тесте проверялась одна гипотеза и изменялся только один элемент (например, заголовок). Если одновременно проверять, например, заголовок и цвет фона, то данные могут оказаться недостоверными, так как будет не понятно, изменение какого именно элемента дало такой эффект [2].
Наиболее известные сервисы для email-маркетинга, которые позволяют проводить сплит-тестирование:
Infusionsoft
ConstantContact
HubSpot Email
AWeber
Marketo
Mailchimp
Unisender

Правила проведения сплит-тестирования

Data Scientist сервиса Kissmetrics советует придерживаться следующих правил при проведении сплит-тестов [3]:
1. Перед началом тестов определить уровень минимальных изменений, которые нужно получить (например, увеличить конверсию на 10%).
2. Установить размер выборки, необходимой для получения достоверных результатов. Для определения размера выборки будет удобно воспользоваться одним из калькуляторов — в сети их много. Автор статьи на KIssmetrics предлагает воспользоваться этим, можно использовать калькулятор на русском — здесь объяснены все термины и формулы.
3. Запустите тест, но результаты проанализируйте только тогда, когда достигнете определенного вами размера выборки.
4. Установите минимальное значение порога изменений, необходимое для определения варианта как эффективного (как правило, это 95% от значения, выбранного на первом шаге).
5. После того, как вы достигнете размера установленной вами выборки, сделайте верификационный тест, чтобы определить превышает ли вариант-победитель значение, установленное на шаге 4.
6. Если результаты верификационного теста ясно показали победу одного из вариантов, внедряйте его. Если тесты не показали значимых результатов, оставляйте все по-старому.
Кроме того, при выборе результата-победителя не полагайтесь полностью на программное обеспечение сервиса. Большинство сервисов не учитывают показатель статистической значимости результатов и выявляют победителя в любом случае. Не поленитесь посмотреть статистику тестов детальнее [4].

Что можно тестировать?

• Время отправки сообщений
• Заголовки (длина, формулировка, подача и т.д.)
• Отправитель (From:)
• Приветствие (с персонализацией или без)
• Длина письма
• CTA [4]

Кейсы

Текст или видео?

Некоммерческая организация «David C Cook» решила проверить, увеличится ли количество пожертвований, если заменить текст на видео. Заголовок письма и CTA были одинаковыми, но одно из писем содержало видео вместо текста [5].
По результатам теста Open Rate обоих писем был одинаков, CTR увеличился на 34%, а размер пожертвований – на 114%.
Результаты тестирования, скриншот

«Merry Christmas» или «Нappy holiday»

Один из крупных ретейлеров США решил проверить, что лучше: пожелать своим покупателям «Merry Christmas», «Нappy holiday» или сочетание этих двух поздравлений. Тестировались заголовки письма. Все остальные элементы оставались без изменений [6].
Рассылка была сделана 21 декабря. По результатам теста победил вариант «Merry Christmas». Показатель открытия оказался почти в 2 раза выше, чем для вариантов «Нappy holiday» и «Merry Christmas & Нappy holiday».
Скриншот результатов теста.

Рассказать историю или показать продукт

Marine Mammal Center – ветеринарная больница, которая занимается выхаживанием раненых тюленей. Больница финансируется за счет пожертвований: на сайте можно приобрести сувенир и таким образом сделать пожертвование. Каждый кто, приобретает товар в магазине, может подписаться на email-рассылку.
Сотрудники больницы решили проверить, что сработает лучше – история о пациентах больницы или рассказ о продуктах интернет-магазина. Рассылка была сделана в канун дня Святого Валентина. Лучше сработало письмо с фотографиями и описанием продукта. Это были кулоны в виде сердец. Письмо с продуктом в итоге принесло почти в 2 раза больше оплат, чем вариант с историей [7].