А/В-тестирование: задачи, цели, шаги

Что это такое? A/B-тестирование – способ повысить продажи и увеличить приток клиентов. Благодаря ему проверяются маркетинговые гипотезы и выбирается оптимальная. Применять этот метод можно практически в любой сфере.

Как применять? Чтобы воспользоваться А/В-тестированием, нужно понимать, как оно работает, какие шаги предпринять и на что обратить внимание. Неправильные действия при тестах могут привести к ошибкам и, соответственно, дать не тот результат, который ожидается.

Что такое А/В-тестирование

Это метод исследования в маркетинге, основанный на сравнении двух вариантов определенного элемента интернет-ресурса с целью оптимизации ключевых бизнес-показателей. А и B в названии — это альтернативные версии, которые сопоставляются. Например, два варианта дизайна страницы сайта. А/В-тест в данном случае может быть направлен на отслеживание коэффициента конверсии обеих версий.

В основном этот маркетинговый инструмент используется при разработке сайтов и мобильных приложений. Он эффективен в отношении оценки гипотез, направленных на улучшение метрик воронки продаж. Это пользовательский трафик, конверсия, кликабельность, показатель отказов, продолжительность сессии и так далее. А/В-тестирование используют продакт-менеджеры, дата-аналитики, программисты, маркетологи и другие специалисты. Метод позволяет формулировать и проверять гипотезы для улучшения работы определенного продукта.

Цель А/В-тестирования в маркетинге — определить, какое изменение даст наилучший результат. Например, повысит продажи. А/В-тестирование можно использовать в следующих случаях:

• для улучшения маркетинговых метрик эффективности с помощью разработанной гипотезы;
• если в команде есть несколько версий того, что необходимо изменить и каким образом;
• требуются доказательства продуктивности внедрения нового инструмента или обновления продукта;
• заказчик хочет внедрить изменения, но сомневается, что они будут эффективными.

А/В-тестирование дает возможность принимать важные решения, ориентируясь на данные проведенного исследования. Это так называемый data-driven-подход.

Что можно улучшить с помощью А/В-тестирования

Продвижение продуктов или услуг — это деятельность, направленная на постоянное совершенствование. Невозможно разработать сайт, рекламный креатив, e-mail-рассылку и надеяться, что они будут эффективны всегда. В условиях высокой конкуренции и покупательской придирчивости нужно постоянно выдвигать гипотезы и проверять их на предмет улучшения пользовательского опыта взаимодействия с продуктом. Гибкий маркетинг способствует быстрой адаптации под изменчивые условия.

Рассмотрим основные плюсы А/В-тестирования:

Улучшение показателей эффективности

Устаревшие дизайн-решения и скучное наполнение сайта — главные причины отказов пользователей и низкой кликабельности. Исключить подобные проблемы можно с помощью проведения А/В тестов и выбора наиболее плодородных решений. Контролем показателей эффективности занимаются специалисты по маркетингу.

Отказы на сайте — это посетители сайта, быстро покинувшие его и не совершившие целевые действия в воронке продаж.

Показатель кликабельности, или CTR, является ключевым в продвижении. Это соотношение числа кликов к показам объявления.

Улучшение удобства пользования сайтом

Юзабилити — это показатель того, насколько пользователю легко взаимодействовать с интерфейсом интернет-ресурса. Посетители должны быстро ориентироваться на сайте и не испытывать трудности с поиском корзины или страницы подписки на рассылку компании. Кнопки пользовательского интерфейса нужно разрабатывать с целью повышения конверсии. Даже если сайт удобен для посетителей, всегда найдутся аспекты, которые можно улучшить и увеличить показатели эффективности ресурса. А/В-тестирование дает возможность UX-дизайнерам провести оптимизацию его интерфейса.

По программе поддержки предпринимательства и малого бизнеса

Полезные материалы по продажам из закрытого клуба Деловой Среды

Мы знаем, как руководителям сейчас непросто, поэтому подготовили материалы, внедрив которые, вы можете увеличить количество продаж ваших менеджеров на 60%. Обратите особое внимание на 3 документ, его важно знать каждому!

Скачивайте и используйте уже сегодня:

Как увеличить продажи на 15 чеков в день

Конспект лайфхака

Как сделать KPI для отдела продаж, чтобы прибыль росла на 20% и более?

Что нужно сделать, чтобы клиент понял, что ему нужны именно вы

Как на холодных звонках заработать 1.5 млрд ₽

Гайд по составлению продающих скриптов для менеджеров

Рабочие способы, как увеличить средний чек в продажах

2 действия, которые увеличат не только чек, но и продажи как минимум в 2 раза

Скачать подборку бесплатно

PDF 2,5 mb

Уже скачали 27173 человек

Только до 29 ноября

Полезные материалы по продажам из закрытого клуба Деловой Среды

Как увеличить продажи на 15 чеков в день

Как сделать KPI для отдела продаж, чтобы прибыль росла на 20% и более?

Как на холодных звонках заработать 1.5 млрд ₽

Рабочие способы, как увеличить средний чек в продажах

Только до 29 ноября

Введите ваши данные для получения доступа к файлу:

Введите ваши данные для получения доступа к файлу:

Увеличение конверсии при условии допустимых рисков

Её показатели являются ключевыми для специалистов по маркетингу и отдела продаж компании. А/В-тестирование показывает, какой баннер или кнопка пользовательского интерфейса дает наилучший результат. При этом риски и затраты минимальные, так как 50 % посетителей видят старую версию.

Что можно проверять с помощью А/В-тестирования

Практически любой элемент сайта:

• кнопка призыва к действию или Call to action (CTA) — оформление и формулировка;
• привлекательный дизайн и расположение на сайте формы обратной связи;
• текст и графические изображения;
• настройка метатегов title и description для представления сайта в поисковой выдаче.

В интернет-рекламе:

• заголовок;
• быстрые ссылки;
• содержание контекстной рекламы;
• продающие креативы.

В рассылках на электронную почту:

• тема и предзаголовок письма;
• приветствие и обращение к пользователю;
• визуальные эффекты;
• вид почтовой рассылки.

Зачем нужно А/В-тестирование

Это инструмент, который позволяет улучшить показатели эффективности работы интернет-ресурса.

Регулярный анализ ключевых метрик помогает выявить низкие показатели. Маркетологи, исходя из своего опыта, выдвигают предположения, с чем это может быть связано. Например: «Вероятно элемент «А» недостаточно эффективен, а значит, требуются изменения (элемент «В»). Тогда метрика повысится». Для проверки правильности гипотезы используется А/В-тестирование.

Если речь идет о рассылке на электронную почту, то подписчикам отправляются две версии. Так специалисты по маркетингу определяют, какая из них эффективнее в аспекте прочтения и кликабельности. Остается неотвеченным вопрос, что же заставило пользователя открыть письмо: прехедер, тема, дизайн или текст письма. А/В-тестирование в маркетинге позволяет определить, какой элемент e-mail рассылки эффективнее с точки зрения привлечения внимания потенциального клиента.

Этот метод подходит для того, чтобы изучить поведение посетителей на интернет-ресурсе. После этого можно внедрять изменения на сайт, которые с большой вероятностью принесут нужный для бизнеса результат. А/В-тестирование, простыми словами, является инструментом, помогающим избежать риски и рационально распределить ресурсы компании, выделяемые на рекламу и продвижение.

Рассмотрим на примере. Обучающая онлайн-платформа планирует изменить главную страницу. Цель — создать грамотное оформление сайта для увеличения числа обучающихся на ресурсе. Второй вариант — привлечение внимание пользователей в раздел, содержащий описание карьеры и размещенный на обзорной странице обучающей платформы. Это стимулирует большое число пользователей записаться на курс. А/В-тестирование позволит проверить, насколько такие изменения эффективны в отношении улучшения коэффициента конверсии.

Таким образом, все элементы интернет-ресурса, которые могут повлиять на действия здесь пользователя, можно проверить посредством А/В-тестирования. Это заголовок, наполнение и интерфейс сайта, оформление страницы, визуальные эффекты, акционные предложения, упоминания о бренде в социальных сетях, кнопка призыва к действию, способы оплаты и доставки и так по порядку.

Как эффективнее проводить А/В-тестирование? Сопоставление должно быть максимально конкретным и простым. Нет смысла сравнивать два кардинально различных варианта сайта, так как вы не сможете определить, что сыграло ведущую роль в поведении пользователя. В случае если на сайт добавляется новый модуль или вносятся изменения в меню, эту методику нельзя провести, так как отсутствует база для сопоставления.

Как работает А/В-тестирование

Есть много успешных примеров положительных результатов использования его в маркетинге. В основном, это рост продаж. Например, IT-компания WorkZone (США) смогла увеличить число лидов более чем на 1/3 за счет клиентских отзывов. Изначально изменения тестировались на маленькой группе пользователей и в дальнейшем внедрялись на сайт.

Рассмотрим работу A/B-тестирования на примере. Допустим, коэффициент конверсии веб-страницы на данный момент составляет 5 %. Специалист по маркетингу выдвигает гипотезу, что изменение цвета кнопки «Купить» увеличит показатель в среднем на 2 %.

Для проверки данного предположения используется специальный сервис. Например, AB Tasty. Он распределяет трафик пользователей таким образом, что 50 % посетителей страницы видят кнопку «Купить» старого цвета, а 50 % — нового. Через три недели специалист по маркетингу сравнивает результаты теста. Конверсия старой версии составила 5 %, а новой — 7,5 %. В итоге веб-разработчики компании меняют цвет кнопки. Бизнес несет те же затраты на привлечение потенциальных клиентов, как и раньше, но получает рост продаж в 1,5 раза.

Альтернативные методы — A/B/C- и A/B/C/D-тестирования. Они отличаются от рассматриваемого способа тем, что сравнивают не два, а большее число вариантов.

Кому нужно A/B-тестирование

• Менеджеры продуктов могут использовать данный маркетинговый метод для оптимизации ценообразования и повышения коэффициента конверсии.
• Дизайнеры продуктов могут тестировать дизайн страниц сайта и отдельных составляющих. Например, цвет кнопки «Купить». Результаты теста позволяют проверить, насколько удобно пользоваться измененной опцией.
• Специалисты по маркетингу проверяют CTA-кнопки и другие элементы сайта.

6 шагов А/В-тестирования

Рассмотрим поэтапно, как его проводить на примере страницы регистрации вымышленного стартапа.

Постановка целей

Важный момент: цели А/В теста должны соответствовать задачам бизнеса.

Рассмотрим на примере: вы — продакт-менеджер компании, которая находится на стадии стартапа. Руководство ставит цель привлечения клиентов. Для этого компания стремится к росту показателя DAU. Это число уникальных пользователей за сутки в течение крайнего месяца. Вы выдвигаете гипотезу, что цель можно достичь такими способами, как улучшение коэффициента удержания (процент посетителей, которые возвращаются повторно) или привлечение новых клиентов.

Анализируя воронку продаж, вы отмечаете, что 60 % посетителей покидают страницу до того, как они завершат регистрацию. Значит, нужно упростить её процедуру, изменив форму на сайте. В результате будет достигнута цель — привлечь клиентов и повысить коэффициент конверсии.

Определение метрики оценки эффективности

На основании какого показателя вы планируете оценивать результаты эксперимента? Чаще всего используется коэффициент конверсии. Можно проводить A/B-тестирование по промежуточной метрике вроде CTR. В рассматриваемом примере за основу взята доля зарегистрированных пользователей. Это число новых посетителей, прошедших регистрацию, разделенное на число всех уникальных посетителей интернет-ресурса.

Разработка гипотезы и определение ожидаемых результатов

Это предположение, что нужно изменить, а также планируемые показатели и метрики их оценки. Например, на данный момент на странице регистрации размещен, помимо формы, баннер. Соответственно, есть несколько элементов для проведения A/B-тестирования. Среди них поля формы, расположение, цвет, размер текста. В случае если баннер на главной странице сайта привлекателен для пользователей, нужно проверить, увеличится ли доля новых регистраций, если изменить оформление или текст баннера.

Читайте также

Методы маркетинговых исследований для изучения поведения потребителей

Общая гипотеза может быть следующей: «Если внести изменения в форму на главной странице, то будет регистрироваться большее число пользователей, так как измененное визуальное оформление лучше передает ценности продукта».

Необходимо разработать две гипотезы для определения того, что обусловило разницу между вариантом A (первоначальный) и вариантом B (измененный). Это даст четкое понимание, являются ли результаты закономерным следствием внесенных правок или случайным совпадением.

• Нулевая гипотеза говорит о том, что результаты А и В не имеют отличий, а наблюдаемые разногласия — это случайность. Ее нужно опровергнуть в результате эксперимента.
• Альтернативная гипотеза говорит о том, что B отличается от A. Нужно проверить ее истинность.

Тест может быть односторонним или двусторонним. Первый дает возможность определить изменения в одном направлении, а второй — в двух. Речь идет не только о положительных, но и отрицательных аспектах.

Подготовительные работы перед A/B-тестированием

Для корректных результатов выполните следующее:

• Разработайте новый вариант с изменениями, которые нужно протестировать (В).
• Обозначьте контрольную и экспериментальную группы пользователей. Планируете ли вы протестировать всех посетителей или только из определенной страны? Сегментировать пользователей можно по типу, платформе, локации и так далее. Определите, какой процент от общего числа посетителей интернет-ресурса составляет контрольная группа (с вариантом A), а какой — экспериментальная (вариант B). В основном используется распределение 50/50.
• Проверьте, что посетители будут видеть варианты A и B в случайном порядке. Это даст корректные данные.
• Обозначьте показатель статистической значимости (α). Это определенный уровень риска из-за ложноположительных результатов. Стандартно α = 0,05. Такой уровень статистической значимости говорит о том, что только в 5 % случаев вы увидите разницу между A и B, обусловленную случайностью. Соответственно, чем ниже выбранный вами этот коэффициент, тем ниже риски стохастических результатов.
• Обозначьте размер выборки для A/B-тестирования. На это, помимо подхода маркетолога, влияет ряд факторов. Рекомендуется использовать достаточно большую выборку для того, чтобы получить статистически значимые результаты.
• Установите период проведения теста. Вычислить его можно следующим образом: возьмите общий размер выборки, нужный вам для тестирования каждой версии, и разделите его на ежедневный трафик интернет-ресурса. Итог — количество дней, которое понадобится на проведение A/B-тестирования. В среднем потребуется 1-2 недели.

Например, мы изменим на сайте главную страницу в разделе регистрации пользователей. Это будет вариантом В. Мы устанавливаем, что в исследовании будут участвовать только новые пользователи ресурса, посетившие страницу регистрации. Устанавливаем, что выборка будет случайной. Каждый посетитель будет иметь равные шансы на получение A или B варианта.

Важно обозначить продолжительность проведения исследования. Например, ежедневно страницу регистрации посещают более 10 тысяч новых пользователей. Получается, что 5000 из них смогут воспользоваться каждым вариантом. Минимальный размер выборки будет около 100 тысяч просмотров А и В версии. 100 000/ 5000 = 20 дней. Именно столько будет длиться A/B-тестирование.

Проведение исследования

Выполните следующие шаги:

• Обговорите все параметры A/B-тестирования с исполнителями.
• Проверьте запрос на тестовой площадке, если она есть. Если её нет, то обязательно проверьте данные первого дня эксперимента.
• В начале тестирования А и В гипотез удостоверьтесь, что все идет по плану.
• Не оценивайте результаты преждевременно! Это может исказить статистическую значимость.

Анализ итогов A/B-тестирования

Вам понадобятся данные и расчет значений показателей успеха для обоих вариантов (A и B), а также разница между ними. Если её не было, вы можете разделить выборку по платформам, виду источников, локации. Может оказаться, что вариант B работает лучше или хуже для того или иного сегмента.

Проверьте показатель уровня статистической значимости. Главное — определить, вызвана ли разница в результатах между A и B осуществленными изменениями или это случайность. Для этого нужно сравнить тестовые статистические данные и итоговое p-значение с вашим уровнем значимости.

Читайте также

SWOT-анализ: задачи и правила проведения

Могут быть следующие варианты: p-значение меньше уровня значимости (можно отвергнуть нулевую гипотезу, так как есть доказательства для альтернативного варианта) и оно больше или равно уровню значимости (нельзя отвергнуть нулевую гипотезу).

В результате A/B-тестирования в маркетинге возможны следующие итоги:

• Вариант А эффективнее или между А и В нет отличий. Показатели низкой эффективности версии с изменениями (В) могут быть связаны с отрицательным клиентским опытом, сильной конкуренцией или обусловлены причинами, сделавшими тестирование недействительным. В данном случае вы можете углубиться в данные или организовать исследование посетителей для того, чтобы понять, с чем связана низкая эффективность работы варианта В. Собранные данные пригодятся для следующих тестирований.
• Вариант B эффективнее. A/B-тестирование показало, что гипотеза была верной. Далее можно провести исследование на всей аудитории и проанализировать полученные результаты.

Инструменты для А/В-тестирования

Анализ результатов такого испытания удобнее всего осуществлять, используя язык программирования. В основном это Python или R. В случае если аналитик разбирается в работе статистических тестов (z-тест, t-тест и тест Манна-Уитни), то он может легко проанализировать полученные в ходе исследования данные в таких простых инструментах, как калькуляторы Mindbox или Excel.

Есть аналитический инструмент Amplitude, который дает возможность проводить A/B-тестирование, а также получить подробные данные о действиях каждого посетителя.

Для A/B-теста продукта или его составляющих потребуются инструменты посложнее. Многие компании создают системы аналитики. Их можно настроить так, как требуется для решения бизнес-задачи.

Опции A/B-тестирования имеются и в готовых системах аналитики. Они являются универсальными и могут использоваться в маркетинговом анализе и при проведении типовых проверок.

На данный момент необходимо участие специалиста в проведении A/B-тестирования. Есть большая вероятность, что в ближайшем будущем его заменит искусственный интеллект. Сейчас возможна частичная автоматизация теста. Например, создание рекламных слоганов с Chat GPT и проверка пользовательской реакции.

Перед проведением A/B-тестирования нужно разобраться в том, как работают статистические тесты. Если изучить этот вопрос, то анализ результатов исследования возможен с помощью любых инструментов. Это позволяет исключить ошибки в тестировании. Например, для начала можно использовать z-тест, который применяется в маркетинге и продакт-менеджменте. Изучать статистическое тестирование лучше всего на больших базах данных. Допустим, с помощью Kaggle. Это популярный репозиторий, который активно используют дата-сайентисты.

Трудности при А/В-тестировании

Эта процедура в маркетинге, начиная с подготовки и заканчивая анализом результатов, предполагает учет ряда факторов.

Основные моменты, на которые нужно обращать внимание:

• Первая отрицательная реакция старых пользователей, вызванная изменениями.
• Необходимость в оптимальном уровне трафика и конверсии для получения корректных данных.
• Соблюдение последовательности среди испытуемых в группах А и В.
• Принятие итогового решения на основании лучших показателей. Например, выручка может сопоставляться с числом кликов.
• Показатель конверсии имеет важное практическое значение. Затраты на запуск нового элемента или его модернизацию сопоставляются с доходом от увеличения его коэффициента.
• Достаточное количество времени на проведение A/B-тестирования. Это позволяет учесть изменения в настроении пользователей, связанные с сезонностью, днями недели и так далее.

Ошибки в A/B‑тестировании

• Осуществление целого ряда изменений в вариантах А и В. Не нужно одномоментно менять цвет кнопки, текст призыва к действию и визуальное оформление страницы сайта. При таком комплексном подходе нельзя определить, что конкретно повлияло на конечный результат. Важно выполнять правило: одно изменение — одно A/B-тестирование.
• Использование чужих идей. Гипотезы, которые оказались эффективными в одном проекте, могут оказаться провальными в другом. Копирование чужих идей зачастую является пустой тратой времени и денег. Гораздо эффективнее проанализировать текущую ситуацию и разработать собственные гипотезы.
• Завершение тестирования раньше отведенного времени на его проведение. Важное правило: достижение запланированного объема выборки. Иначе результаты могут быть некорректными. Затягивать исследование также не стоит.
• Неверный выбор метрик. Отслеживать необходимо те показатели, которые влияют на успешное функционирование бизнеса. В противном случае могут быть приняты ошибочные решения. Оптимальный вариант — выбор показателей, влияющих на доходы компании. Например, коэффициент конверсии.
• Неравномерное распределение пользователей. Версии А и В нужно показывать в случайном порядке. Если не соблюдать данное правило, то вероятно, что какой-нибудь сегмент аудитории будет видеть только один вариант. Тогда результаты будут некорректными. Поэтому удобно использовать сервисы, которые автоматически распределяют равномерно трафик пользователей.
• Отсутствие учета влияния внешних обстоятельств. Например, сезонность спроса, общий информационный фон, распродажи. Статистически значимые результаты можно получить, если проводить A/B-тестирование в оптимальный период.
• Выборка должна быть похожа на генеральную совокупность. Рассмотрим на примере. Если показатель конверсии в среднем составляет 3 %, а у пользователей, попавших в выборку, он равен 8 %, то можно сделать вывод, что она некорректна. Такая выборка не отражает среднестатистического посетителя интернет-ресурса. Специализированные сервисы правильно распределяют входящий трафик. Выборка будет выглядеть как генеральная совокупность.

Читайте также

PEST-анализ: правила проведения и подводные камни

Часто задаваемые вопросы об А/В-тестировании

Как много элементов исследуется в таком анализе?

A/B-тестирование основано на выборе одного параметра, иначе результаты будут некорректными. Если изменить несколько элементов сайта или мобильного приложения, то не получится определить, что именно повлияло на итоговый результат.

Что представляет собой метод A/B-тестирования сайта?

Это маркетинговый инструмент, исследующий два варианта изменений (в тексте, графике, дизайне, кнопке призыва к действию) с целью определить, какой из них эффективнее решает задачи бизнеса. Специалист по маркетингу отслеживает поведение пользователей для того, чтобы понять, какая версия дает наибольшее количество конверсий или клиентов, совершивших целевое действие в воронке продаж.

Почему не рекомендуется просто вносить изменения на сайт?

Конечно, можно менять различные элементы сайта, стремясь достичь высоких бизнес-показателей. Если не проводить A/B-тестирование, вы не поймете, что повлияло на оптимизацию воронки продаж. Например, вы изменили цвет баннера с синего на зеленый. В следующем месяце было больше заказов на 5 %. Никто не может утверждать, что повлиял на это именно обновленный цвет баннера. Это может быть следствием контекстной рекламы или сезонного спроса. A/B-тестирование даст точные данные для анализа.

Читайте также

XYZ-анализ для оптимизации товарного ассортимента

Как быстро проводится тестирование?

Для получения корректных данных нужно проводить исследование определенное время. Если закончить тест раньше, то результаты будут под сомнением. Если проводится анализ сайта, то нужно рассчитать время тестирования, основываясь на ежедневном трафике. В основном объективные данные можно получить за две недели. Исключить влияние внешних факторов (сезонный спрос, распродажи, скачки валютного курса и так далее) поможет одновременное проведение тестирования вариантов А и В.

Правильно организованное А/В-тестирование в маркетинге дает бизнесу много преимуществ. Это эффективное взаимодействие с потенциальными клиентами, повышение коэффициента конверсии, доступная аналитика и рост продаж.