Курсы валют: USD1 USD: 2.5153 EUR1 EUR: 2.9964 RUB100 RUB: 3.4850 (Обновлено: 20.06.2021 в 16:19:01)Результаты торгов на фондовой бирже: USD1 USD: 2.5153 EUR1 EUR: 2.9964 RUB100 RUB: 3.4850 : 1.0000 : 1.0000 : 100.0000 (Обновлено: 20.06.2021 в 16:19:01)Ставка рефинансирования: bank8.5% (21.04.2021);

Seobility делится опытом. Как провести успешный сплит-тест: 7 подводных камней

64
4 минуты

Задайте себе вопрос – можно ли улучшить Ваш онлайн-бизнес? Если ответ да, то скорее всего Вам поможет А/Б-тестирование и сопутствующие инструменты. Большинство интернет-маркетологов, наверняка, знакомы с техникой проведения А/Б-тестов, однако до сих пор данный ресурс остается неиспользованным.

 

 

Благодаря А/Б-тестам можно расширить свой онлайн-бизнес и увеличить число продаж с сайта. Причем тестирование сегодня один из самых доступных и проверенных способов, чтобы повысить конверсию, улучшить клиентский опыт поведения на целевой странице, сделать сайт ориентированным на продажи.

Агентство интернет-маркетинга Seobility на основании своего опыта проведения АБ-тестов выделило несколько «подводных камней», зная которые, можно избежать многих ошибок.

1. Вопрос, с которого все начинается: «Что тестировать?»

На самом деле вариантов огромное количество. От цвета и заголовка, до формы заявки и функциональности сайта. Здесь главное не увлечься и проводить тесты, сравнивая два варианта однотипных элементов. Тогда риск получения недостоверных результатов уменьшается. Старайтесь, например, в одном тесте вычислить лучший заголовок, а во время проведения другого – изменить цвет или размер CTA (calltoaction) кнопки. Тем не менее, различия между вариантами должны быть значительными, тогда понадобится меньшее количество трафика для теста.

2. Какая длительность проведения эксперимента?

Обычно результаты А/Б-теста считаются справедливыми, если уровень статистической значимости достигает 95%, что означает вероятность появления случайных различий в данных не более 5%. Следовательно, достоверный эксперимент будет подтверждать не случайные изменения итоговых результатов. Однако помните, что достижение статистической значимости никак не связано с доказательством выдвигаемой в начале теста гипотезы! Этот показатель лишь означает, что различия между вариантами действительно существуют. Поэтому необходимо дополнительно принимать во внимание показатели статистической мощности и доверительного интервала.

Нельзя доверять преждевременным результатам. Необходимо длительное наблюдение за ходом теста. Исходя из нашего опыта, потребуется около 3 недель. Советуем проводить АБ-тесты с определенным числом будних и выходных дней, а также брать равные периоды времени суток.

Учитывайте особенности конкретной аудитории: продолжительность совершения покупки, периодичность бизнес-циклов и т.д. При этом эксперимент не должен длиться слишком долго (больше месяца), иначе данные начнут «засоряться» повторными посещениями и другим трафиком.

3. Какое количество трафика и конверсий достаточно для проведения А/Б-теста?

Перед началом теста рассчитывайте минимальное необходимое число посетителей для каждой страницы эксперимента. Для этого можно пользоваться онлайн-калькуляторами.

Калькулятор позволяет вычислить примерное число посетителей для достижения статистической значимости АБ-теста при определённой статистической мощности. 

4. Какой источник трафика использовать?

Можно направить на тестируемую страницу посетителей только из контекстной рекламы или органический трафик, или трафик с определенными метками.

Однако избегайте смешивания разных источников трафика, поскольку поведение посетителей может сильно отличаться. Существует вероятность получить большое число случайных значений и сделать ошибочные выводы. С другой стороны, не всегда выводы, сделанные во время эксперимента для некоторой выборки, можно распространить на весь сайт и трафик в целом. Поэтому в ходе А/Б-тестирования необходимо учитывать индивидуальные факторы.

5. Какой вид эксперимента проводить: А/Б-тестирование (сплит-тест) или мультивариантное тестирование (одновременное изменение сразу нескольких элементов на одной странице)?

Как мы уже писали, эксперимент лучше проводить с однотипными элементами. Поэтому логичнее проводить А/Б-тесты с использованием различных URLдля каждого варианта, а не динамические подстановки случайных вариантов.

Для мультивариантного теста потребуется гораздо больше трафика, так как увеличивается число сочетаний вариантов.  Это, в свою очередь, провоцирует появление ложно положительных результатов АБ-тестирования.

6. Не стоит однозначно доверять статистике

После долгих недель теста может оказаться, что в эксперименте случайно принимало участие 80% пользователей с мобильных устройств, и выводы теста получаются не релевантными для основной аудитории. Поэтому мы рекомендуем интегрировать систему веб-аналитики до начала тестирования. Например, GoogleAnalytics. Это позволит провести сегментирование трафика и выявить расхождения. С помощью статистики вы сможете отфильтровать дополнительный источник трафика, который мог повлиять на результаты эксперимента, или другие факторы, которые не были учтены заранее.

7. А/Б-тестирование для отдела маркетинга должно стать перманентным процессом

Кратковременное повышение конверсии по прошествии некоторого времени ничего не принесет и будет нивелировано другими факторами. Именно поэтому старайтесь после окончания одного теста сразу начинать новый. Вы должны понимать, что потенциал повышения конверсии практически бесконечный.

И еще … не забывайте, что непрофессиональная настройка теста способна дать в корне неверные результаты.

Удачных экспериментов!

Егор Сухадольский

  • Комментарии
Загрузка комментариев...