А/В тестирование

Чтобы его провести, нужно разделить входящий трафик на две равных части и одной половине посетителей показывать страницу А, а другой В.

После окончания эксперимента нужно посмотреть, какая страница принесла больше целевых действий, например, регистраций, покупок или просмотры страниц и использовать ее в дальнейшем.

А/В тестирование поможет повысить конверсию сайта. Ведь, благодаря ему, можно узнать, как изменения в дизайне влияют на поведение аудитории. Так же вы можете проверить, как ваши гипотезы влияют на сумму заказов, время проведенное на странице и другие метрики.

Тестирование помогает разрешить споры и предположения ваших коллег по поводу дизайна и интерфейса сайта. С помощью теста вы узнаете действительно работающий вариант. Кроме того, вы можете настроить свой сайт так, чтобы вашим пользователям было легко и удобно совершать на нем целевые действия.

Чтобы улучшить показатели сайта, вам нужно в первую очередь протестировать гипотезы относительно элементов, которые влияют на конверсию. К ним относятся призывы к действию, кнопки, формы и изображения.

Но перед тем, как начать тест, подумайте, действительно ли он вам нужен и все ли у вас есть для его реализации.

Чтобы результаты тестирования были правильными, вам необходим достаточно большой объем трафика, регулярные конверсии (регистрации, заявки, покупки) и налаженная система веб-аналитики.

Если у вас всего этого нет, то тестирование лучше не проводить, потому что оно не даст достоверных результатов. Если все в наличии, то смело приступайте к тесту.

Перед тем, как начать тестирование, решите, какое именно предположение вы хотите проверить. Для этого вам нужно четко сформулировать вашу гипотезу.

Она не должно быть взята с потолка. Нужно, чтобы она имела под собой обоснование. Стройте гипотезы на основе веб-аналитики и анализе действий посетителей на сайте.

В идеале, гипотеза появляется в результате исследования: поговорите с клиентами — за что они любят ваш продукт, какую проблему он решает, проведите анализ запросов в службу поддержки: какие существуют болевые точки, посмотрите статистку: найдите страницы с высоким процентом выходов или аномально низкой конверсией, воспользуйтесь чудесным вебвизором — что люди вообще делают на вашем сайте, как они себя ведут.

Например, аналитика сайта показывает, что пользователи редко нажимают на кнопку «Купить». Может быть, это потому что она мелкая? Или потому что сливается с общим фоном?

Вы можете сформулировать несколько гипотез, но в одном тесте можно проверить только одну. То есть в случае с кнопкой нужны два разных теста — на размер и на цвет. Если вы будете проверять сразу несколько гипотез, то не сможете понять, какая из них сработала.

После того, как вы решили, какую гипотезу будете проверять, нужно выбрать критерии этой проверки.

Критериями могут быть: показатель отказов (сколько человек зашли на страницу и тут же закрыли), время, проведенное на сайте, количество заявок или регистраций, количество покупок или средний чек.

Тут мы возвращаемся к началу: какую проблему нужно решить. Например, вы продаете онлайн-курс по основам правильного питания. Вы хотите увеличить продажи одной из трех программ и выделяете ее цветом.

Тогда при сравнении двух страниц критерием будут продажи именно этой программы. Неважно сколько времени посетители провели на странице, сколько из них отправило заявку, сколько купили другие программы или как изменилась выручка. Нет, нас интересует именно изменение продаж данного варианта.

И убедитесь, что у вас настроена веб-аналитика, которая это зафиксирует.

Это то, с помощью чего вы хотите проверить вашу гипотезу. Например, если вы предполагаете, что красная кнопка будет заметней на странице и повысит количество регистраций, то вам нужно тестировать ее цвет.

После того, как вы выбрали, какой элемент будете тестировать, нужно создать копию страницы и внести в нее изменения. И как мы уже говорили, за один тест можно проверять только одну гипотезу и сделать только одно изменение.

Для этого нужно заранее подсчитать, сколько человек должны посетить страницу, чтобы результаты тестирования были статистически значимыми (то есть, не могли возникнуть случайно), и им можно было доверять.

Число выборки зависит от того насколько сильные изменения вы ожидаете увидеть. Чем сильнее эти изменения, тем меньше человек потребуется для выборки. А посчитать ее можно с помощью калькулятора tools.driveback.ru.

Если исходная конверсия была 10% и вы ожидаете, что она изменится на 1% (то есть станет 11%) то минимальное количество посетителей для теста должно быть 14 400 человек (на каждом варианте странице). Это число вам нужно для ориентира — когда можно будет остановить тест.

Чтобы рассчитать минимальный видимый эффект, вам нужно знать текущую конверсию страницы и то, какой ее рост вы ожидаете увидеть, а затем понять, какой процент от текущей конверсии она составляет.

Объясним на цифрах. Допустим, текущая конверсия вашего сайта 4 процента, вы ожидаете, что она вырастет до 5, значит разница между ними будет равна единице. Теперь вам нужно понять, сколько процентов единица составляет от текущих четырех. Посчитаем и получим 25%. Именно это число и нужно писать в графу «Минимальный видимый эффект».

Подумайте, будете ли вы показывать экспериментальную страницу всем посетителям или только части. Если показывать всем, то необходимое количество людей наберется быстрее. С другой стороны, если гипотеза окажется неверной и новая страница будет иметь более низкую конверсию, будут потери.

Также обратите внимание на состав: новые посетители или постоянные. Есть вероятность, что среди постоянных посетителей эксперимент не будет чистым: когда люди уже привыкли к одному интерфейсу, то их реакция на изменения будет не такой, как у тех, кто видит его впервые.

Тест должен продолжаться минимум неделю, даже, если вы набрали нужное количество посещений за два дня. Это необходимо, потому что в разные дни недели пользователи ведут себя по-разному.

Если целевой показатель у вас покупка и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования 10–14 дней. В Google Experiments минимальное время тестирования по умолчанию — 14 дней.

Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время.

Это когда вы показываете всем пользователям две абсолютно одинаковых страницы и отслеживаете результаты.

Если они совпадают, значит, трафик однородный и результаты А/В тестирования будут достоверными. Если же при А/А тесте результаты одной страницы сильно отличаются от другой, то не имеет смысл проводить А/В эксперимент, так как он автоматически будет неверным.

Чтобы сэкономить время, А/А тестирование можно проводить внутри основного, в результате у вас получится А/В/А тестирование. Для этого нужно раздели трафик на три одинаковых потока и одному из них показывать вариант В, а двум другим — А. Если результаты страниц А и А совпадут, значит тест был достоверным.

Минус такого подхода — чтобы достигнуть статистически верных результатов, вам понадобится в два раза больше трафика.

После того, как вы сформулировали гипотезу, выбрали цели, выяснили длительность и выборку, убедились в однородности трафика, можно приступать к основному тесту.

Чтобы его провести, вам понадобится специальный сервис.

Все эти сервисы отличаются ценой и функционалом. Для начала мы советуем вам освоить Google Experiments и проводить свои тесты там. Он бесплатный и к тому же напрямую связан с Google Analytics.

Зайдите на сайт google.ru/analytics, войдите в аккаунт и выберите в боковом меню раздел «Поведение» — «Эксперименты». Затем нажмите кнопку «Создать эксперимент».

Заполните поля:

• Название эксперимента;

• Цель эксперимента. Цель создается заранее. Это действие, которое должен совершить пользователь на странице: например, нажать кнопку или заполнить форму. Либо можно выбрать из того, что предлагает Google: сколько времени человек провел на странице, перешел ли на другую страницу и сколько страниц он просмотрел;

• Процент трафика: Чтобы ускорить получение результатов, можно увеличить процент посетителей, участвующих в эксперименте. Однако при внесении радикальных изменений возрастает риск негативных последствий, поэтому в таких случаях может быть лучше включить в эксперимент небольшое количество посетителей;
• Оповещение по email: включить или выключить.

Укажите адреса страниц, участвующих в тестировании, и нажмите «Далее».

Нажмите «Вставить код вручную» и скопируйте код.

Вставьте его в исходный код контрольной страницы. Код должен быть вставлен сразу после тега <head>.

Вернитесь в аккаунт Google Analytics, нажмите «Далее». Включится проверка кода эксперимента. После того, как код будет найден, нажмите «Начать эксперимент». С этого момента весь трафик будет перенаправляться в процентном соотношении на тестируемые страницы.

Первые результаты теста появятся через несколько суток после начала эксперимента. Чтобы следить за ними, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов: Google Analytics > Поведение > Эксперименты и перейдите на вкладку «Отчеты».

После запуска теста проверьте, все ли работает. Если вдруг тест начал показывать аномально резкие отличия (на исходной странице конверсия 5%, а на тестируемой 0%), проверьте, что все кнопки и ссылки на странице правильно функционируют.

Когда тест будет закончен, нужно проверить значимость результатов. Это можно сделать с помощью калькулятора tools.driveback.ru/significance.html

Если страницу просмотрело 10 000 и на одной странице зарегистрировалось 100 человек, а на другой 110, вторую страницу нельзя считать «победителем», так как результат не значим, он случаен.

Если при той же выборке на одно странице например, зарегистрировалось 1000 человек, а на другой 1100, то можно утверждать, что вторая страница действительно имеет более высокую конверсию и результат повторится с высокой вероятностью.

После окончания эксперимента считается хорошей практикой провести повторное тестирование. Оно поможет окончательно подтвердить результаты основного теста.

Еще можно не останавливать основной тест, а сократить количество участников до 10–20% пользователей. Такой метод тоже поможет убедиться в правильности результатов.

Часто результаты теста могут быть неверными, потому что во время его проведения были допущены ошибки. Мы перечислим самые популярные из них.

Использование чужих результатов. Это самая распространенная ошибка. Если кто-то в тестировании получил высокую конверсию, используя красный цвет кнопки, это совсем не значит, что тоже самое будет и у вас. Результаты эксперимента всегда индивидуальны и зависят от очень многих факторов.

• Проведение нескольких тестов одновременно. Это не только помешает вам сосредоточиться на каком-то одном процессе, но и подвергнет угрозе ваш бизнес. Ведь если ваши гипотезы будут неверными, то вы понесете больше убытков, чем при одном тестировании.

• Тестирование нескольких изменений за раз. Так вы никогда не поймете, какая же из ваших гипотез была верной и положительно повлияла на результаты эксперимента.
  

• Рано остановленный тест. Когда один вариант уверенно лидирует, то результаты тестирования кажутся очевидными и очень хочется прекратить эксперимент. Не делайте этого, потому что все еще может поменяться. Лучше дождаться окончания теста и быть полностью уверенным в результате.
  

И еще одно заблуждение — многие считают, что с помощью А/В тестирования можно улучшить сайт и продавать все, что угодно. Это не так, ведь если ваш продукт не нужен людям, то как бы вы не улучшали интерфейс, продукт от этого востребованней не станет.