A/B тестирование: что это такое и с чем его едят

Как заработать деньги? Большой вопрос в наши непростые времена. Кризис бушует, курсы валют скачут, крупные поисковики мучают вебмастеров новыми фильтрами… Просто «зарабатывать» на своём ресурсе уже недостаточно. Сегодня нужно уметь выжать максимум прибыли из каждой формы или баннера, размещенных на вашем сайте. Не увеличивая посещаемость (что может стоить денег и огромных усилий) — вы повышаете свой доход. Интересно? К счастью, никаких тайных знаний для этого не требуется. Решить эту нелёгкую задачу поможет проверенная временем процедура a/b тестирования. В общем виде она может выглядеть так:

Берёте какой-нибудь элемент сайта (например, нашу поисковую форму)
Изменяете его (ставите другое оформление, цветовую схему и т.п.)
Размещаете исходный и измененный элементы на в остальном идентичных страницах
Отправляете на них посетителей в равных количествах
Оцениваете статистику по целевым показателям (CTR, конверсии, кликам, % отказов или другим метрикам)
Оставляете лучший вариант

Затраты на дополнительный трафик при этом отсутствуют, а конверсия растёт, и в кармане вебмастера закономерно оказывается гораздо больше денег. Выглядит просто, не правда ли? Тем не менее, в a/b тестировании есть и свои тонкости. Какие элементы тестировать и как именно? Какие общие правила важно соблюдать? Какие существуют инструменты для A/b-тестирования, какие у них особенности? Начнем с объекта тестирования. Пусть это будет наша поисковая форма, размещенная у вас на сайте. Давайте посмотрим, что можно сделать, чтобы повысить её конверсию. Во-первых, можно тщательно протестировать оформление. Грех не испытать разные варианты вида и ширины формы, проверить сочетаемость с вашей аудиторией разных цветовых схем или, например, посмотреть, какая версия работает лучше – с логотипом Aviasales или без него. Во-вторых, всегда полезно проверить, какая функциональность формы подойдёт вашей аудитории больше. Так и просятся для a/b тестирования разные типы модуля, варианты вкладки по умолчанию, наличие либо отсутствие в форме блока «Лучшие предложения». В-третьих, нелишне будет обратить внимание на настройки таргетинга и исследовать, какие значения в полях «Город или отель по умолчанию» подойдут аудитории именно вашего ресурса. Наконец, не забудьте и про расположение поисковой формы на сайте – например, всегда стоит проверять классические пары позиций вроде сайдбара и конца статьи, правого и левого сайдбара. Обязательно используйте инструмент «Дополнительный маркер» для сбора данных об эффективности нескольких форм, размещенных на одной странице. Просто впишите в поле желаемое значение маркера (например, sidebar-left для формы в левом сайдбаре) – доступны цифры, буквы латинского алфавита, знаки «_» и «—». Подробнее об инструменте читайте тут. Как тестировать разные варианты (гипотезы)? Теперь, когда вы понимаете, что можно тестировать, самое время узнать, как это делать правильно – т.е. так, чтобы результат можно было использовать для увеличения прибыли. Придерживайтесь следующих правил:

Проверяйте «простые гипотезы». Будет ли у формы CTR выше с бело-синей цветовой схемой или с сине-белой? С включенным блоком «Лучшие предложения» или без него? Результат тестирования должен быть прост и очевиден, так что ограничивайтесь тестированием 1 изменения – так вы сразу поймёте, пошло оно на пользу или нет.
Не торопитесь делать выводы – дайте достаточному количеству пользователей совершить целевое действие. Вспомните игру в монетку: чтобы понять, какова реальная вероятность выпадения орла или решки, необходимо подбросить монетку достаточно много раз, иначе данные будут неверны.
Пользуйтесь специальными сервисами. Всегда можно нанять банду программистов, соорудить сайт-клон, разделить трафик на две части и рвать на себе волосы, подсчитывая стоимость всего перечисленного. Но лучше воспользоваться одним из инструментов, о которых я расскажу прямо сейчас!

Google Content Experiments – современный наследник старого доброго Website Optimizer, интегрированный в Google Analytics. Довольно простой, эффективный и бесплатный сервис с минимумом недостатков – к ним отнесём разве что необходимость самостоятельно создавать на сайте экспериментальную страницу с альтернативным вариантом тестируемого элемента. Но в остальном всё просто. Создав страницу, открывайте в Google Analytics раздел «Поведение/Эксперименты» и следуйте по пунктам меню, настраивая условия и цели эксперимента. Остаётся только задать ссылки на исходную и экспериментальную страницы, добавить на последнюю сгенерированный код, запустить тестирование и дождаться результатов! А еще вы можете использовать надстройку на этот сервис в виде Changeagain.me — есть возможность редактировать эксперименты визуально и главное, не имеет ограничений по трафику. Попробуйте! Visual Website Optimizer — зарубежный сервис с бесплатным пробным режимом. Довольно демократичен по ценам (от 49$ в месяц при месячном трафике в 10 тысяч посетителей). Позиционирует себя как «самый простой инструмент для a/b тестирования в мире» и заметно менее требователен к знаниям вебмастера, чем предыдущий. Позволяет проводить несколько видов анализа помимо A/b тестирования, а по функционалу в последнем не уступает инструменту от Google. Задать несколько вариантов для теста? Без проблем. Сегментировать трафик? Пожалуйста, в дополнительных настройках тестирования. Сервис поддерживает Google Tag Manager, что точно оценят опытные вебмастера. Optimizely.com/ABTest.ru — два сервиса-близнеца, одинаковых с лица (то есть почти идентичные по функционалу), соответственно зарубежный и отечественный. Имеют неплохой набор инструментов для a/b тестирования и, в отличие от Google, не требуют создания экспериментальных страниц на сайте. К сожалению, свои преимущества сервисы с лихвой компенсируют невнятной ценовой политикой (Optimizely) и нестабильной работой (ABTest). Какой из сервисов использовать – решать, конечно, вам. По-своему они все хороши и подходят для решения поставленной задачи по a/b тестированию. Мы же выбираем Google Content Experiments как абсолютно бесплатный и не уступающий другим сервисам в инструментарии и эффективности. Рекомендуем! Вот, собственно, и всё, что нужно знать для организации эффективного a/b тестирования. Устанавливайте наши формы и баннеры, тестируйте каждый из их параметров, внедряйте удачные находки и увеличивайте конверсию настолько, насколько это только возможно. И помните: a/b тестированием можно заниматься постоянно, без остановок. Именно так поступаем мы в Aviasales.ru и Hotellook.ru, и это приносит нам хорошие деньги. Эта статья была вводной, описывая базовую информацию и общие принципы A/B тестирования. В следующих постах я постараюсь получить полезные советы от Андрея Ежова, который смог поднять доход нашего отельного сервиса на 15% с помощью A/B тестирования. Оставайтесь с нами!