Итак, вы решили использовать A/B тестирование. Оно выглядит как спасение, о котором вы так давно мечтали. Что же тут может не нравиться? Возможность протестировать две страницы на сайте, чтобы увидеть какая из них даст вам больше клиентов, звучит просто прекрасно. И после нескольких подобных тестов все эти дополнительные клиенты могут сложиться в новый поток прибыли.
Вы все настроили и…
…поняли, что не знаете, с чего стоит начать тестирование. Эйфория A/B тестирования начинает рассеиваться.
И прямо перед тем, как окончательно сдаться, вы вспоминаете спор, который у вас произошел с дизайнером (или боссом? Или разработчиком?), насчет цвета кнопки на одной из ваших страниц. Они решили, что кнопка должна быть зеленой, но вы ЗНАЕТЕ, что оранжевый цвет будет лучше. И вы настолько уверены, что чувствуете правоту всем своим существом.
Вы решаете завершить этот спор раз и навсегда.
Все настроено, тестирование идет полным ходом, и теперь это дело времени.
Через неделю или две вы снова входите в свою учетную запись на сайте сервиса тестирования, прокручиваете страницу до результатов теста…
Зеленая кнопка показала результат на 0,1% лучший, чем оранжевая. И вы просто не знаете что здесь хуже:
- То, что оранжевая кнопка показала худшие результаты вопреки вашим предположениям
- То, что разница оказалась столь незначительна, что о ней можно было вообще не волноваться.
Это случается ПОСТОЯННО. Особенно с людьми, которые только начинают работу с A/B тестированием. Видите ли, случайный выбор элементов для тестирования дает незначительный результат.
Прямо сейчас есть несколько тестов, которые могут принести вам ОГРОМНЫЙ прирост прибыли. Речь идет об увеличении клиентской базы примерно на 5-20%. И эти возможности оптимизации просто ждут, пока вы начнете тестирование.
Но обнаружить эти ключевые улучшения случайно не получится.
И вот еще что: если вы будете проводить А/В тестирование случайных параметров, то никогда не сорвете большой куш.
Чтобы найти ключевые элементы нам понадобится совершенно другой подход к выбору элементов для тестирования. Есть свое время и место для тестирования всего мыслимого и немыслимого (и мы еще к этому вернемся), но ключевые элементы требуют совершенно иного подхода.
Этап 1: Находим ключевые элементы
Если раньше вы тестированием не занимались, то сможете найти несколько возможностей для увеличения притока клиентов на 5-20%. И речь идет не об увеличении абстрактного уровня конверсии. Это реальное увеличение клиентской базы и прибыли. А обнаружение нескольких возможностей для улучшения на 10% выведут вашу компанию на новый уровень.
А самая лучшая новость заключается в том, что это ускорение роста вашей клиентской базы постоянно. Внесите изменения один раз и пожинайте его плоды годами.
Но тестирование всего подряд на сайте не позволит вам обнаружить ключевые элементы, которые необходимо изменить.
Нам нужно понять, откуда начать поиски.
Если только вы не профессионал оптимизации, то вам пригодится следующий простой алгоритм, который позволит быстро приступить к делу.
Чтобы обнаружить ключевые моменты для A/B тестирования, выполните следующие три шага:
- Получите качественные предложения (обратная связь от клиентов)
- Предположите, как можно добиться улучшения
- Подтвердите предположение при помощи A/B тестирования
Давайте пройдем по списку более детально:
1. Получите качественные предложения
Качественные данные отлично подходят для выявления проблем. Но, что гораздо более важно, они помогают нам ответить на вопрос ПОЧЕМУ, стоящий за каждым ЧТО. Используя аналитику, вы можете узнать, откуда уходят ваши клиенты, какие возможности они используют, и кто из них приносит вам наибольшую прибыль. Но чтобы понять, почему ваши клиенты делают то, что делают, вам будет необходимо поговорить с ними. В KISSmetrics есть 5 любимых способов получать обратную связь от клиентов:
1. Опросы
2. Поля обратной связи
3. Прямой контакт
4. Анализ поведения пользователей при помощи аналитических инструментов
5. Юзабилити-тесты
Чтобы сорвать большой куш нам придется постоянно следить за тенденциями в получаемой обратной связи и постоянно углубляться в изучение того, что может вызвать проблемы.
Скажем, вы смотрите на свою воронку и отмечаете, что лишь немногие переходят на платное обслуживание или приобретают ваш продукт. У вас ТОЛПА людей, кликающих на предложение, но при виде цены они уходят со станицы.
И вот тут потребуется хирургическое вмешательство с учетом наших качественных данных.
Создайте опрос всего с одним вопросом на странице покупки и спрашивайте у людей, какие у них возникают вопросы и пожелания касательно продукта. Также для сбора обратной связи можно добавить кнопку поддержки. Кроме того, обращайтесь к клиентам, которые УЖЕ приобрели продукт, с вопросом о том, почему они сделали свой выбор. Как только у вас будет обратная связь от 15-20 человек, вы наверняка обнаружите некоторые тенденции в ответах. Возможно, вы перестарались с предложением в маркетинговых материалах. Или, быть может, вы просмотрели в рекламном тексте момент, вызывающий критическое возражение.
Вот краткий итог: качественные данные позволяют нам понять, какие элементы дадут наибольший отклик при А/В тестировании.
Установите систему сбора обратной связи, чтобы легче обнаруживать тенденции. И как только обнаружите тенденцию – углубленно изучите все, что с ней связано.
2. Предположите, как можно добиться улучшения
Этот шаг довольно очевиден. Вы уже собрали множество качественной информации о поведении ваших клиентов. И вы знаете, ПОЧЕМУ они так себя ведут.
Самое время для мозгового штурма и поиска решения ваших проблем.
Запомните все найденные решения как «предположения». Это только гипотезы. Они могут сработать. А могут – нет. И мы не узнаем наверняка, пока не получим данные для их подтверждения или опровержения.
3. Подтвердите предположение при помощи A/B тестирования
Отметьте, что само тестирование происходит в КОНЦЕ этого процесса, а не в его начале. Использование качественных данных позволяет нам понять, какие изменения могут быть важны, и сконцентрироваться именно на них.
Теперь для подтверждения своей правоты вам остается только провести тестирование. Вам необходимо подтверждение того, что люди действительно будут себя ВЕСТИ так же, как они ГОВОРЯТ, что будут себя вести (а обычно это не так). Так что получайте данные и приступайте к А/В тестированию.
Сосредоточьтесь на обнаружении ключевых элементов и разрешении основных проблем, которые вы обнаружите при помощи обратной связи. И в результате вы сможете серьезно повлиять на рост вашего бизнеса при сравнительно небольших трудозатратах.
Но вскоре все эти значительные изменения закончатся. Пройдет не так уж много времени, и вы найдете свою идеальную воронку, лучшую структуру цен и наиболее убедительное маркетинговое сообщение. И если вы хотите продолжать, то вам придется перейти к Этапу 2.
Этап 2: Продолжайте работу и перейдите к мелким улучшениям
Большая часть улучшений от A/B тестирования – это маленькие победы. Каждая из них не слишком впечатляет, но из десятков и сотен маленьких улучшений может сложиться многократное улучшение показателей роста вашего бизнеса.
И хотя найти мелкое улучшение тут или там может оказаться довольно просто, но постоянная работа над этим изо дня в день, неделя за неделей, будет делом непростым. Вам придется тратить на это немало сил.
В идеале, у вас должна быть небольшая команда, которая будет заниматься маркетингом, разработкой и дизайном всего этого. Если ваша команда оптимизации конверсии будет постоянно бороться за внимание команд разработки и дизайна, то она никогда не сможет достичь в работе той скорости, которая позволит серьезно влиять на события.
Дайте им ресурсы для ускорения тестирования. Скорость здесь очень важна.
Кроме того, у вашей компании будет довольно много данных для обработки. Обычно это означает привлечение сотен новых клиентов ежемесячно (а может и тысяч). Если же у вас более скромная компания, то может хватить и одного человека. Но помните, что в таком случае уйдет больше времени на нахождение и оптимизацию достаточного количества «мелочей», чтобы получить заметные изменения.
Даже на Этапе 2 мы не тестируем случайные вещи. Мы тестируем ВСЕ. Проведите мозговой штурм, определите список изменений и начните их тестировать. Скорость работы должна быть на высоте.
Какой-то блоггер утверждает, что фото человека, смотрящего на ваш заголовок, даст отличный результат? ПРОВЕРЬТЕ ЭТО. Лучший друг из лучшего стартапа в городе, говорит, что видео на домашней странице вызывает потоки денег с небес? ПРОВЕРЬТЕ ЭТО. Вы нашли список из 50 вещей, которые каждый обязан протестировать? ПРОВЕРЬТЕ ИХ ВСЕ.
Чтобы определить, какие тесты необходимо провести первыми, создайте общий список. Порядок в списке не важен, просто начните с первой позиции и продвигайтесь вниз как можно быстрее. Некоторые действительно дадут результат, но большинство – нет. И угадать заранее что сработает, а что – нет, невозможно. Так что делайте свой выбор быстро и не останавливайтесь.
Вот список вещей, с которых вы можете начать:
- Заголовки
- Удалите или добавьте шаги в вашей воронке
- Социальное влияние (рекомендации, логотипы клиентов и т.д.)
- Призывы к действию
- Текст
- Длинные формы против коротких форм
- Расположение элементов
- Добавьте или удалите элементы со страницы
- Цены (корректировка структуры цен обычно относится к серьезным изменениям, но и небольшая разница вроде $37 против $39 тоже может помочь вашему бизнесу)
- Бонусы при покупке/подписке
- Перекрестные продажи и поднятие суммы продаж
Подводные камни
При А/В тестировании многие натыкаются на подводные камни. И вот как их избежать:
Добивайтесь статистической значимости
Когда вы только начинаете получать результаты тестирования – данные могут быть произвольными. Может КАЗАТЬСЯ, что версия А лучше, но в конечном итоге по прошествии времени эффективней окажется версия В.
Подбрасывание монетки работает точно так же. Вполне возможно выбросить четыре орла подряд, но это не значит, что решка не выпадет никогда. Распределение, близкое к 50/50, получится лишь после сотен и тысяч бросков. И даже в таком случае результат может склониться в ту или иную сторону.
Мы минимизируем (но не избегаем) вероятности получения неверных результатов сбором огромного количества данных.
Так как же узнать, что данных достаточно?
Статистическая значимость измеряет то, насколько мы уверены в получении тех же результатов при повторении теста. И мы измеряем эту уверенность в процентах.
Если мы говорим об уровне уверенности в 90%, то это означает, что мы получаем одинаковые результаты в 9 случаях из 10. При 99% уверенности 99 из 100 тестов дадут одинаковые результаты. Получение дополнительных данных будет постоянно увеличивать уровень уверенности, и приближать вас к статистической значимости.
Большинство людей говорят о статистической значимости при уровне уверенности в 95%. Именно достижение этого уровня определяет победителя в тесте и позволяет им перейти к следующему элементу в списке. Не старайтесь получить 99%. Для этого потребуется слишком много времени или данных. Ваш бизнес будет развиваться гораздо быстрее, если вы будете определять победителя и переходить к следующему тесту при 95%.
Но помните, эта отметка на 95% — произвольна. Так что если ваш тест застрял на 87% или 93%, а в списке еще много пунктов, то вполне можно выбрать победителя и пойти дальше. Удерживайте равновесие между скоростью и объемом данных, и старайтесь не жертвовать одним ради другого.
Сотрудники Visual Website Optimizer создали файл Excel, который проводит все необходимые вычисления. Скачать его можно здесь. Просто введите результаты своих тестов и узнайте, достигли ли они статистической значимости. И если не достигли – продолжайте тестирование.
Эффект новизны
Добавление чего-то нового на ваш сайт может повлиять на конверсию только потому, что это новинка. Это – эффект новизны. Это значит, что новая версия может поначалу работать лучше старой, но со временем различие может свестись на нет или даже обратиться в свою противоположность. Новая версия может показать лучшие результаты в течение недели, но в перспективе старая версия может оказаться лучшим выбором.
И в некоторых случаях новизна может негативно сказаться на уровне конверсии. Такое случается, когда вы вводите изменения, нарушающие привычки ваших пользователей.
Скажем, вы довольно долго использовали одну и ту же систему навигации. Даже если вы будете тестировать систему, которая на самом деле удобнее и лучше, уровень конверсии в ближайшем времени снизится. Как только люди привыкают к навигации, они перестают обращать на нее внимание и знают куда кликать. Изменение навигации нарушает эту привычку и замедляет их (по крайней мере, в ближайшей перспективе). Тесты, нарушающие устоявшиеся привычки, будут давать худшие результаты в близкой перспективе.
Так как же обойти этот подводный камень? Даже если у вас огромное количество данных, и вы достаточно быстро достигли статистической значимости – дайте себе еще немного времени, чтобы исключить вероятность влияния фактора новизны. Пары недель будет достаточно. И если время не терпит, то посмотрите на линии трендов ваших уровней конверсии. Они сходятся? Если да, то вполне возможно, что вы наблюдаете эффект новизны. Если же они стабильны и у вас есть данные за неделю, то можно продолжать.
Отслеживайте всю воронку
При тестировании улучшений в плане привлечения клиентов в вашу маркетинговую воронку (и изменения домашней страницы к этому тоже относятся) будьте осторожны и не совершайте распространенной ошибки отслеживания исключительно уровня конверсии на следующем шаге после изменения. Довольно часто случается так, что изменение повышает конверсию на следующем шаге, но ПОНИЖАЕТ уровень конверсии в воронке в общем. Так что если вы не отслеживаете свои тесты по всей воронке, томожете случайно замедлить рост своей клиентской базы.
Здесь вам пригодится клиентская аналитика. Обычные инструменты А/В тестирования вроде Optimizely и Visual Website Optimizer позволяют отслеживать только следующий шаг.
У KISSmetrics есть интеграция с Optimizely и Visual Website Optimizer, позволяющая обойти этот недостаток.
Но и тут есть ОДНО исключение. Если вы только начинаете и у вас мало данных, то вы сможете протестировать изменения только в верхней части воронки. Для более глубокого анализа у вас просто не хватит данных.
Например, у вас может быть достаточно трафика для измерения подписок на бесплатный продукт с домашней страницы, но недостаточно данных для отслеживания того, какая из версий даст больше платных подписчиков. Если вы видите потенциальную пробку в верхней части воронки – не позвольте недостатку данных о нижней ее части помешать вам все исправить.
Данные постоянно изменяются
То, что справедливо сегодня – завтра может измениться. Рынок движется, нужды клиентов изменяются и ваша бизнес-модель развивается.
Так что если вы проведете тест сегодня, то через полгода вы можете на том же тесте получить совершенно другие результаты. Даже если вы найдете «идеальную» версию – она не останется идеальной. Все имеет свой период полураспада и единственный способ оставаться наверху – периодически обновлять данные, прогоняя наборы тестов.
Как насчет сезонности?
Каждый бизнес испытывает сезонные изменения. На некоторых это влияет сильнее, чем на других. В некоторых случаях сезонность очевидна. Лучший квартал для Apple – праздничный сезон. Компании, продающие игрушки, тоже получают большую часть своей прибыли в ноябре и декабре.
Но сезонность может влиять на результаты и менее очевидно.
Возьмем, к примеру, рынок В2В. Не самый очевидный кандидат на сезонность, не так ли? Ну что ж, мы обратились к нескольким клиентам KISSmetrics за обратной связью. Обычно мы получаем ответы в 75-90% случаев. Но в прошлом августе нам ответил лишь 1 из 10. Мы были шокированы. Может быть, дело в тексте писем? Что было сделано не так? Почему результаты столь плачевны?
Дело было не в письмах. Все просто были в отпуске. И через две недели почти все они ответили, как только вернулись в офисы.
То же может случиться и с вашими тестами, независимо от вашей отрасли.
Но не стоит использовать сезонность как оправдание. Все мы любим лавры победителей, но как только дела начинают идти плохо… Не надо сваливать все на сезонность, если тому нет достаточных доказательств. Просто следите за этим.
Многовариантные тесты и другие веселости
Если вы проводите много времени в сфере оптимизации конверсии, то вы наверняка уже слышали о многовариантных тестах. Если описать их кратко – это тесты, позволяющие вам тестировать одновременно десятки переменных в поиске идеальной целевой страницы, домашней страницы, страницы оплаты и т.д.
Звучит хорошо, правда? Но для того, чтобы подобное тестирование стало возможным, вам потребуется ОГРОМНЫЙ объем данных.
Кроме того, для настройки и управления этими тестами понадобится море времени. Многовариантные тесты просто не стоят усилий, если вы не профессионал в А/В тестировании с целой командой, круглосуточно занимающейся оптимизацией.
Есть и другие алгоритмы, но они СЛИШКОМ усложнены. Подобные вещи могут только помешать, так как вы потратите очень много времени на старт. Не стоит жертвовать действиями в пользу сложности.
Итоги
Если вы никогда не занимались А/В тестированием – вы на Этапе 1 и наверняка есть несколько возможностей оптимизации, которые принесут вам рост на 5-20%. Но для их обнаружения не стоит тестировать случайные вещи.
Вместо этого используйте простой процесс А/В тестирования:
- Используйте обратную связь от клиентов для получения качественных данных
- Предположите, какая оптимизация даст наибольший эффект
- Проведите А/В тестирование, чтобы подтвердить предположение
Как только вы нашли свои основные оптимизации – время переходить к Этапу 2 вашего плана по оптимизации. На этом этапе вам надо будет настроиться на сбор команды и длительную работу в поиске всех возможных небольших улучшений, которые только можно найти.
Вам придется найти сотни небольших улучшений на протяжении года. Для поддержки тестирования на такой скорости вам понадобятся сотни новых клиентов ежемесячно, а еще лучше – тысячи.
Когда вы с головой окунетесь в тестирование, не забывайте о подводных камнях:
- Добивайтесь статистической значимости
- Будьте осторожны с эффектом новизны
- Отслеживайте всю воронку
- Данные будут постоянно меняться
- Будьте проще и не используйте без причин слишком усложненные вещи вроде многовариантного тестирования
Счастливого тестирования!
