что такое сплит тестирование
A/B тестирование интернет-магазина: вносите изменения опираясь на числа
Цель работы коммерческого сайта – превратить как можно большее число пользователей в покупателей товаров или услуг. Владелец наполняет магазин товарами по адекватным ценам и полезным контентом. Но даже самые хорошие страницы нуждаются в повышении конверсии. Часто оптимизацию осуществляют вслепую, основываясь на своих наблюдениях и интуиции. Такие методы не всегда справляются с задачей. A/B тестирование позволяет оценить эффективность изменений в цифрах. Грамотное применение метода к интернет-магазину повышает его прибыльность.
Что такое сплит-тест или А/Б тестирование
Сплит-тестирование (split testing) – инструмент маркетинга. Этот метод призван оценивать и сравнивать результативность сайта. При этом рассматриваются количественные характеристики двух (или более) веб-страниц магазина.
Другое обозначение метода – AB тестирование, – проще поясняет его суть. Посетителям сайта последовательно предлагается два варианта страницы. Версии отличаются между собой одним или несколькими элементами. Путем повторения показов набирается статистика. Изучается, как влияют изменения на целевые характеристики ресурса. Учитывается, какие именно изменения вызывают больший интерес потенциальных покупателей.
Как проводят A/B тесты
Создаются страницы А и В с незначительными отличиями в оформлении. Их показывают однородной аудитории. Выбирается необходимое число показов. Оно должно быть достаточным для получения достоверных статистических данных. Для каждой попытки выводится коэффициент конверсии. Затем определяется наиболее привлекательная для клиентов версия страницы. Именно эта версия будет наиболее эффективной в смысле продаж.
Цели и преимущества метода
Тест нужен, чтобы извлечь из существующего трафика максимум пользы. С его помощью можно добиться повышение конверсии. Причем, оно не будет затратным. За платный же трафик приходится отдавать немалые суммы. Каким образом тестирование способно принести рост прибыли? Все экономические показатели интернет-магазина чутко реагируют на малейшие изменения сайта. Эти показатели: объем продаж, лиды, доходность.
Изменениям может подвергаться любой элемент сайта:
С этими объектами проводят А/В-тест в самом простом варианте. Более сложные сплит-тесты изучают также влияние других характеристик на поведение клиента. Это могут быть цены, условия доставки, срок бесплатного тестирования продукта. Клиенты обычно активно отзываются на акции, специальные предложения. Маркетолог прогнозирует, чего ожидать от изменений на страницах. Делая поправки, он должен понимать, почему они могут сработать. Тестирование призвано проверить эти прогнозы.
Для эффективного использования методики необходимо назначить продолжительность тестирования. Оно должно продолжаться не меньше двух недель, и не дольше трех месяцев. Данные о результатах можно получать на e-mail. Еще одно преимущество сплит-теста – существование готовых сервисов. Они дают возможность специалисту самостоятельно устанавливать долю трафика для участия в эксперименте.
Сплит-тестирование для интернет-магазина
Как работает описанная методика в интернет-магазине? Понимание дает простой пример. Владелец ресурса решил использовать для магазина новый логотип. Но он сомневается в эффективности такого изменения. Не отпугнет ли обновление потенциальных клиентов? Специалист предлагает посетителям поочередно две версии главной страницы: старую А и новую В. A/B тест позволит определить, какая из них больше нравится посетителям сайта.
Анализ нужен для увеличения продаж. Поэтому важно правильно выбрать изучаемые параметры. Для результативного проведения А/В тестирования необходимо иметь хорошую посещаемость сайта. Только тогда можно проанализировать реакцию большого числа пользователей в короткий срок. По окончании времени тестирования важно правильно подсчитать конверсии на страницах А и В. Для этого фиксируют количество звонков, заявок, предоставляемых купонов. По этим параметрам оценивается число продаж. Косвенные показатели: скачивание прайса, время пребывания на странице.
Ошибочное применение методики тестирования может привести к неверным выводам.
Чтобы избежать возникновения проблем, достаточно воспользоваться предлагаемыми программными решениями.
Инструменты для проведения А/В тестирования
Сплит-тестирование интернет-магазина удобно проводить при помощи готового функционала. Его предлагает сервис статистики для сайтов Google Analytics. Наиболее распространен среди веб-мастеров бесплатный ресурс Google Content Experiment. Этот эффективный и удобный инструмент для А/В тестов наследует сервису Google Website Optimizer. Функционал полностью интегрирован в Google Analitics. Этот факт позволяет специалисту перейти на собственную отчетность, обходя ПО разработчиков магазинов.
Достоинства Google Analytics:
Как воспользоваться инструментом Content Experiment? Достаточно сделать всего несколько шагов. В меню выбрать пункт «Поведение», в нем раздел «Эксперименты». Здесь можно дать тестированию название и задать параметры: цель отслеживания; процент трафика; адреса страниц. Программа выдает код тестирования, который нужно копировать на свой сайт. Отчеты по тестам можно просмотреть в разделе «Параметры визитов».
Подробно этот процесс мы описали в статье о проведении A/B тестов на платформе InSales.
При помощи сплит-тестирования владелец интернет-магазина предоставляет посетителю право выбирать лучшее решение. Исходя из результатов эксперимента, страницы приобретают наиболее привлекательный для клиентов внешний вид и наполнение. Сплит-тестирование дает маркетологу отличный шанс увидеть свой сайт глазами посетителя. Узнав предпочтения аудитории, легко увеличить конверсию сайта, а значит, и прибыль с него.
А/B-тестирование в социальной сети: как правильно его провести
Вы узнаете, как запустить А/В-тестирование и оценить, какое рекламное объявление оказалось самым эффективным.
Что такое сплит-тестирование
(А/В-тестирование)
Сплит-тестирование (А/В-тестирование) в таргетинге — метод исследования, помогающий выбрать самый эффективный вариант рекламы или подобрать более платёжеспособную аудиторию.
Например, можно протестировать одинаковое рекламное объявление на пяти разных аудиториях, чтобы увидеть, люди из какой аудитории чаще всего переходят по ссылкам, заказывают товары, просматривают видео или лайкают. Либо можно показать четыре разных изображения одной аудитории, чтобы определить, которое из них привлекает людей лучше всего. И в дальнейшей кампании используется объявление, показавшее лучший результат.
Автор статей по SMM, практикующий таргетолог, в прошлом — продакт-менеджер диджитал-проектов.
Какие параметры можно тестировать
Тексты. Экспериментируйте! Создавайте неформальные или более официальные варианты текста. Учтите, что в каждом тексте должен быть одинаковый оффер. Например, ошибкой будет сделать два текста объявления, предложив в одном скидку 10%, а в другом — 50%.
Картинки. По моему опыту, люди лучше всего реагируют на изображения девушек и вообще людей, лица, снятые вблизи, графику и фотографию товара. Идеальный вариант, если вы можете показать товар на человеке — например, колье или очки.
Заголовки или их отсутствие. Можете запустить несколько вариантов заголовков и одно объявление без заголовка.
Геоданные. Тестируйте разные регионы, города и (если нужно) страны. Рекомендую выделять в отдельный сегмент Москву и Санкт-Петербург — показ рекламы на жителей этих городов дороже. Возможно, эффективнее будет показывать рекламу жителям регионов, исключая СПб или Москву. Посмотрите в настройках аналитики сайта, пользователи каких городов или областей чаще всего заказывают продукты, и настраивайте показ рекламы на них. Например, можно выделить три сегмента: Санкт-Петербург, Москва и регионы, которые чаще всего у вас заказывают.
Возраст. По моему опыту, дороже всего рекламу показывать людям среднего возраста (25–35 лет), но чаще всего именно она оказывается наиболее эффективной.
Пол. Настройте показ разной рекламы на женщин и мужчин.
Интересы. Выдвигайте гипотезы, людям с какими интересами нужен ваш продукт, и тестируйте каждую. Как определять интересы аудитории в Facebook и Instagram и составлять гипотезы — читайте здесь.
Это основные параметры, которые можно тестировать.
Как тестировать несколько параметров
Тестирование нескольких параметров происходит поэтапно. Например, вы хотите протестировать текст и изображение. Тогда сперва вам следует протестировать изображение и определить лучший вариант.
Затем — протестировать текст с победившим вариантом изображения.
Вы также можете параллельно тестировать несколько вариантов креатива на разные аудитории, если эти аудитории не пересекаются. Например, вам нужно протестировать три аудитории и пять вариантов картинки. Тогда на каждую аудиторию вам нужно запустить пять вариантов картинки с одинаковым текстом. Объявление, которое показало лучшие результаты, будет победителем.
Шаги в сплит-тестировании
1. Выдвигаем предположение, что может увеличить конверсию. Например, новый заголовок.
2. Создаём несколько вариантов рекламного объявления или выбираем разные аудитории. Рекомендую тестировать не менее пяти вариантов для каждого предположения.
3. Если тестируем креатив (изображение, видео, текст или заголовок), делим аудиторию на равные части. В Facebook и Instagram это можно сделать внутри рекламного кабинета — Ads Manager — c помощью опции «Сплит-тест»:
У «ВКонтакте» такой возможности нет. Для запуска теста вам нужно собрать аудиторию с помощью парсера (например «Церебро») и разделить аудиторию там.
4. Измеряем конверсию для каждого варианта рекламного объявления.
5. Определяем победителя и откручиваем полный бюджет.
Как долго нужно тестировать
Нет чётких правил, сколько времени продолжать сплит-тестирования. Вам нужно запустить рекламу и следить за её результатами.
Facebook рекомендует проводить тестирование не менее четырёх дней для социальных сетей Instagram и Facebook, но не позволит задать время сплит-теста более 30 дней и менее суток.
В этих социальных сетях чаще всего я тестирую 3-4 дня. Но иногда уже через сутки понятно, какое объявление приносит лучший результат. В таком случае я останавливаю явно неудачные рекламные кампании.
«ВКонтакте» не даёт рекомендаций по продолжительности сплит-тестирования. Чаще всего я останавливаю показ каждого рекламного объявления «ВКонтакте», когда количество показов достигнет 15 тысяч. После этого я оцениваю эффективность рекламного объявления и останавливаю показ наименее эффективных.
Какого размера должна быть аудитория
Аудитория должна быть достаточно большой. Я рекомендую использовать аудиторию от 5000 человек. При тестировании не следует показывать рекламное объявление той же аудитории, которая уже используется в другой рекламной кампании. Наложение аудиторий исказит результаты тестирования.
Как определить победителя сплит-тестирования: разбираемся с CTR, CPC и CPA
Чтобы определить победителя сплит-тестирования, вам необходимо оценить эффективность каждого рекламного объявления. Оценивать их можно по параметрам CTR, CPC и CPA. Разберёмся, что скрывается за каждой аббревиатурой.
CTR — коэффициент кликабельности, считается в процентах. Рассчитывается по формуле: CTR = количество кликов / количество показов * 100%.
Например, количество кликов — 100, количество показов — 10 000. Тогда CTR = 100 / 10 000 * 100% = 1%.
Хорошей кликабельностью считается CTR больше 1%.Учтите, CTR не отражает эффективность рекламного объявления — оно может быть кликабельным, но посетитель не будет конвертироваться в заявки.
CPC — стоимость клика. Рассчитывается по формуле: CPC = стоимость размещения рекламного объявления / количество кликов.
Например, стоимость размещения рекламного объявления в тестовый период — 100 рублей, количество кликов — 50. Тогда CPC = 100 / 50 = 2 рубля.
Стоимость клика для разных регионов и разных тематик будет отличаться. Также она будет зависеть и от самого рекламного предложения. Например, стоимость клика у приглашения на бесплатный вебинар будет ниже, чем у приглашения на платное обучение.
CPA — цена за целевое действие. При этом целевое действие может быть любым: например звонок, заявка на сайте, подписка на аккаунт в социальной сети. Рассчитывается по формуле: CPA = стоимость размещения рекламного объявления / количество целевых действий.
Например, стоимость размещения рекламного объявления в тестовый период — 300 рублей, количество целевых действий — 10. Тогда CPA = 300 / 10 = 30 рублей.
При тестировании объявлений задавайте целевое действие, которое можно отследить: например, заполнение формы на сайте. По UTM-меткам вы сможете понять, с какого объявления пользователи пришли на сайт и заполнили форму. UTM-метка — фрагмент кода, который добавляется в URL-ссылки. Эту ссылку вы размещаете в рекламном объявлении. Аналитика сайта показывает, сколько пользователей пришло по этой ссылке на сайт и что они там делали.
Оценивая эффективность рекламных объявлений и определяя объявление-победителя, отталкивайтесь от того, какого результата хотели достичь, и ориентируйтесь на CPA. Бывает, что кликабельность объявления хорошая, стоимость клика низкая, но пользователи не совершают нужных целевых действий. Тогда мы не можем считать такую рекламу успешной.
Бывает, напротив, при высокой стоимости клика CPA показывает лучший результат. Однако мы не всегда можем отследить целевое действие: например, когда не настроена аналитика на сайте, нужно ориентироваться и на стоимость клика, и на кликабельность объявления.
Если в сплит-тесте несколько объявлений показали хороший результат, следует оставить их все, чтобы они меньше приедались аудитории.
Пример анализа победителя
сплит-тестирования
Рассмотрим анализ сплит-тестирования трёх объявлений. Параметр, который тестируем, — изображение. Пусть CPA будет заполненная заявка на сайте. Это основной параметр, по которому будем оценивать объявление.
Из таблицы видно, что у второго объявления выше CTR и CPC, но цена за целевое действие — заполнение заявки на сайте — ниже, чем у первого. Поэтому первое объявление считается самым эффективным. И показ этого объявления нужно запускать на весь бюджет.
Сплит-тестирование сайта
Возможность запуска сплит-тестов навсегда изменила онлайн-маркетинг. Этот инструмент позволяет сравнить две разные версии веб-сайта или целевой страницы друг с другом. Таким образом вы можете определить, какая из версий лучше справляется с преобразованием посетителей в клиентов или пользователей в лиды.
Но чтобы сделать это, вам необходимо сначала ознакомиться с основами. В этом руководстве вы найдете все, что вам нужно знать о сплит-тестировании и о том, как самостоятельно запускать беспроблемные кампании.
Что такое сплит тестирование?
Сплит-тестирование – это случайное распределение входящего трафика сайта между двумя разными URL-адресами одной и той же страницы. Его цель – достичь повышения общей производительности ресурса:
Трафик, участвующий в эксперименте по сплит-тестированию, важно равномерно распределять между тестируемыми страницами. Часть посетителей, которые объединяются общими чертами, называется сегментом. Существуют различные варианты сегментации трафика, основные из них:
Таким образом, сплит-тестирование использует сегментацию трафика для случайного распределения посетителей между двумя разными версиями одной страницы чтобы определить, какая из них работает лучше.
Обычно число вариантов сокращают к минимуму, чтобы привлечь максимум трафика и увидеть полную картину поведенческой активности. Потому распределение трафика происходит только между двумя версиями страницы.
Провести сплит-тестирование Вашего сайта
Но тесты могут включать гораздо больше вариантов для анализа. Если вы тестируете страницу с высокой посещаемостью, можно использовать 3 и более вариантов.
В чем отличие сплит-тестирования и A/B-тестов
На первый взгляд, тест сплит-тестирование выглядит так же, как A/B-тест. Из-за этого их часто считают одним и тем же процессом. Оба типа тестирования концептуально схожи, так как они включают в себя несколько вариантов веб-страницы, чтобы определить, какой из них лучше всего конвертируется или имеет более эффективное вовлечение пользователей. Но все же эти понятия не взаимозаменяемы.
Давайте начнем с того, что делает A/B-тест. Для него требуется две аналогичные версии веб-страницы, которые обычно имеют незначительные изменения на уровне элемента страницы.
Переменная часто представляет собой изменение дизайна или содержимого в одном месте. Например, цвет кнопки CTA или заголовка страницы может быть потенциальной переменной. Затем устанавливается тест с указанием различных версий.
Читайте также
Как работает правильный интернет-маркетинг: 3 шага к успеху
Когда A/B-тест выполняется, все версии доступны по одному и тому же URL. В этом и заключается главное отличие от сплит-тестирования, где пользователи попадают на разные URL, а тестируемые изменения более масштабны.
A/B-тестирование является отличным инструментом оптимизации для отдельных веб-страниц и часто используется для быстрых проверок теорий по улучшению UX. Этот инструмент не является альтернативой сплит-тесту, а используется для других типов задач.
Зачем запускать сплит-тесты на сайте
Чтобы понять, как повысить конверсию посетителей, следует спросить себя, что именно на сайте мешает им совершать заказы. Но одних интуитивных предположений недостаточно, важно уметь их проверить.
Проводя сплит-тестирование, вы ставите своих посетителей в центр процесса принятия решений.Во-первых, результаты, полученные в результате раздельного тестирования, помогут вам узнать, с какой версией страницы люди взаимодействуют чаще всего. Во-вторых, какая информация и дизайн превратят посетителей в постоянных клиентов.
Сплит-тесты дают качественную объективную информацию, основанную на реакции вашей ЦА. Это помогает определить барьеры и оптимизировать всю цепочку взаимодействия с потенциальными клиентами, повышая конверсию на каждом этапе.
Из того, что мы уже описали, можно сделать вывод, что сплит-тесты можно запускать на каждом веб-сайте, который уже обзавелся посетителями. С правильными инструментами тестирования это не сложно и не требует больших инвестиций.
Преимущества сплит-тестов
Идеально подходит для сайтов с низким трафиком. С одной стороны, если у вашего веб-сайта низкий трафик, тестирование с разделенными URL-адресами – это единственный метод, который вы можете использовать (другие сценарии, например многомерное тестирование, требуют определенного количества ежедневного трафика).
С другой стороны, это делает анализ результатов более чем простым. Просто создайте два варианта веб-сайта или целевой страницы и соответственно распределите трафик. После этого посмотрите, какой из них произвел больше конверсий.
Больше прибыли. Скажем так: раздельное тестирование поможет вам найти лучшую версию вашего сайта. Чем лучше оптимизированы показатели конверсии и поведенческие факторы, тем выше число заказов без увеличения затрат на маркетинг.
Как провести сплит-тестирование
В любом типе исследований, включая сплит-тесты, важно сохранять объективность. Для этого стоит руководствоваться только полученными данными и сократить влияние любых факторов, которые могут исказить результат. А именно:
Исследование включает следующие этапы:
Если исследование не показало существенных различий в эффективности каждого варианта, вернитесь к пункту 3. Если же результаты существенно отличаются, можно внедрять нововведение (или оставить старый вариант) и приступать к тестированию новых элементов.
Пример сплит-тестирования
Выводы
Внося даже незначительные изменения в свои целевые страницы, объявления и электронные письма, вы можете значительно повысить эффективность кампаний. Сплит-тестирование позволяет вам легко сравнивать версии ваших маркетинговых активов, чтобы вы лучше распределить маркетинговый бюджет и получать максимум заказов из привлеченного трафика.
Часто задаваемые вопросы
Что такое сплит-тестирование?
Сплит-тестирование – это распределение трафика между двумя разными версиями одной и той же страницы, которое помогает выявить более эффективную страницу с точки зрения конверсии и поведенческих факторов.
Как работает сплит-тестирование?
Сплит-тестирование работает путем сравнения двух или более версий одной и той же страницы. Это помогает вам определить, какая из них предпочтительна для ваших посетителей и имеет лучший коэффициент конверсии.
Почему сплит тестирование важно?
Сплит-тестирование важно, потому что это решение, которое помогает вам повысить число продаж без значительных затрат. Таким образом вы повышаете окупаемость всех маркетинговых инструментов, работающих над привлечением аудитории.
A/B-тесты: как развивать бизнес с помощью экспериментов
Для всех, кто думает, как зарабатывать больше на своем интернет-магазине. Рассказываем, зачем A/B-тесты нужны ecommerce, когда их проводить и как избежать ошибок.
Немного о Growth marketing или Growth hacking
Четкого определения термина Growth hacking нет. Впервые он был озвучен относительно недавно, в 2010 году, Шоном Эллисом, маркетологом Dropbox. В своей статье о старт-апах он упомянул о гроу хакере, как о специалисте, который с помощью нестандартных решений и тестов находит наилучшие решения, позволяющие проектам расти.
Growth hacking (гроу хакинг) — это подход, который позволяет с помощью быстрых экспериментов над разными составляющими бизнеса определить самые эффективные пути развития.
Объектом эксперимента может выступать что-угодно: от самого продукта до отдельного этапа воронки продаж. Главное, чтобы на основе полученных данных, можно было формировать стратегии роста. И если в оффлайне проведение маркетингового исследования может стоит десятки тысяч долларов, то экспериментировать онлайн не только бюджетно, но и доступно.
В интернет-маркетинге эксперименты проводятся с помощью а\б-тестов.
A/B-тестирование (оно же сплит-тестирование или аб-тестирование) — это метод исследования, который позволяет оценить эффективность различных элементов путем сравнения. Такой тест показывает, какой вариант лучше решает поставленные задачи.
Мы проводим тесты с помощью Google Optimize. Можно использовать и другие сервисы, но GO совершенно бесплатный. К тому же, интеграция с Google Analytics обеспечивает сохранность данных (не нужно предоставлять доступ сторонним сайтам).
A/B-тесты позволяют найти способ, как улучшить конверсию, экономические показатели и поведенческие факторы.
Главные преимущества A/B-тестов — это доступность и относительная малобюджетность. В зависимости от изменений, которые будут тестироваться, при малых затратах можно достигнуть больших результатов.
Увеличить объем продаж или количество регистраций, задержать клиента на странице магазина — все это и намного больше можно сделать благодаря сплит-тестированию.
Например, тестируя более заметный СТА-элемент, мы увеличили количество регистраций на сайте клиента на 9%.
В интернет-магазине можно тестировать расположение элементов, дизайн, надписи и тексты. Если говорить о страницах, то чаще всего это корзина, карточка товара и разные формы захвата (регистрация, подписка на новости).
АБ-тесты помогают оставаться конкурентоспособными, подстраиваясь под изменения рынка и пожелания клиентов, с наибольшей выгодой для компании.
Идеального времени, чтобы начать тестирование нет. Проводить тесты необходимо непрерывно, при условии, что у компании есть четкие цели и ресурсы. У приемов, которые позволяют бизнесу расти, есть жизненный цикл. Те тактики, которые приносили вам деньги год назад с каждым днем становятся менее эффективными. Во-первых, потому что пользователи быстро привыкают к любым изменениям и перестают обращать на них внимание. Во-вторых, потому что игроки рынка копируют работающие приемы. Для того чтобы проекты росли, необходимо постоянно развиваться.
Стоит учесть, что нежелательно одновременно тестировать гипотезы, которые касаются пересекающихся элементов (например, изменение цвета кнопки и текста). Это влияет на продолжительность экспериментов. По этой причине в крупных компаниях, тесты проводятся постоянно.
Идеи для тестирования берутся из аналитики (скажем, определяются слабые места сайтов) или из бизнес-задачи (например, увеличить количество транзакций). Можно подсматривать идеи у конкурентов, но то, что сработало для другой компании и аудитории, может не сработать у вас.
Крупные онлайн-ритейлеры проводят эксперименты самостоятельно, ведь на проектах такого масштаба чаще всего есть выделенная команда, которая состоит из специалистов по маркетингу, веб-аналитике, дизайну, копирайтингу и разработке.
На практике, средним и мелким ecommerce проектам проводить тестирование внутри компаний бывает тяжело из-за отсутствия кадров и опыта. Именно по этим причинам обращаются в агентства. Владельцу или менеджеру достаточно прийти с запросом формата хочу увеличить объемы продаж, а команда агентства сама просчитает возможные варианты, протестирует и презентует результат.
Если ваша компания обладает временными и кадровыми ресурсами, то можно провести исследования самостоятельно. Важно понимать, что отсутствие опыта влечет за собой риски, в том числе финансовые.
АБ-тестирования — один из самых доступных методов маркетингового исследования, но есть определенные тонкости, которые делают проведение аб-тестирования невозможным.
1. Отсутствие целей, проблемы, гипотезы. Прежде, чем проводить тестирование, необходимо определить проблему или установить цель. Получать больше заказов или сократить отток клиентов? Например, если вы хотите получать больше заказов, то можете поработать с текстом и дизайном кнопки, которая за это отвечает. Затем формулируется гипотеза, например: «Красный цвет кнопки срабатывает лучше, чем зеленый, так как он заметней».
Важно понимать, что гипотеза — это не прогнозирование. Прогноз — это ваши предположения, если гипотеза оправдается.
2. Тестирование нескольких гипотез одновременно. АБ-тесты могут проводиться одновременно только если не касаются пересекающихся элементов или процессов. Иначе, нельзя будет определить, что привело к результату.
Приоритезируйте. У вас или компании наверняка есть первоочередные цели. Достигнуть их можно разными путями, но благодаря опыту и данным аналитики, специалисты помогут определиться, какой тест окажется эффективней.
3. Останавливать тест, когда захочется. Для проверки каждой гипотезы нужно свое время, это зависит от множества факторов: сезона, трафика, наличия промо-активностей и т.д. Даже если кажется, что один вариант явно лидирует. Остановив тестирование раньше, можно получить недостоверные результаты, которые повлекут неверные стратегические решения. Проводить тест нужно до тех пор, пока не будет достигнут минимальный результат.
4. Привязываться к одному показателю. Будьте внимательны при оценке результатов. Допустим, вы тестировали показатель конверсии и определили, что красную кнопку нажимают чаще. Не забудьте проверить экономические показатели. Средний чек или объем продаж мог упасть.
Обязательно убедитесь, что выполнили следующие действия:
Ecommerce рынок в Украине выроc практически на 30%, а это значит, что продавать становится тяжелее. Для того чтобы стать действительно крупным игроком рынка, необходимо постоянно развиваться и совершенствоваться. Благодаря своей бюджетности и доступности, AB-тесты становятся универсальным инструментом для поиска новых возможностей. Важно понимать, что не успешных аб-тестов не бывает. Данные полученные на их основе, позволяют бизнесу масштабироваться.
Делитесь своими успешными и не очень историями сплит-тестирования. Будет интересно почитать.
Очень мало практической информации. Пересказ каждой второй статьи про сплит-тесты. Если хотите поделиться экспертностью в теме, то лучше осветить вопросы:
1) Как эффективно организовать процесс генерации гипотез для тестов?
2) Как с помощью GO (или другого инструмента) тестировать более сложный гипотезы, чем замена цвета кнопки? Например, 2 варианта первого экрана на товарных страницах в интернет магазине, при условии что точкой входа может быть и товарная страница, и страница другого типа.
3) Как правильно проверять статистическую значимость тестов более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека? Или как правильно принять решение о необходимости исключения из анализа статистических выбросов?
4) Нужны ли a/b тесты, если ты не яндекс или озон, а обычный региональный бизнес с 10к визитов и 100 лидами в месяц?
Дмитрий, спасибо за фидбек.
Эта статья — не техническая, мы не хотели рассказать механизм проведения тестирования, кстати, таких пересказов тоже хватает.
Данный материал мы готовили для владельцев бизнеса и специалистов, которые ищут возможные точки роста и не рассматривали аб-тесты в принципе.
Вы предложили отличные вопросы, будем думать над тем, чтобы написать вторую статью, более практичную.
Как всегда годный материал от вас. Спасибо!
Артур, спасибо за фидбек)
Будем стараться.
Недавно пробовал проводить тест через Google Experiments. Почему-то на странице «B» не работали ссылки. Они все вели на главную, не знаете почему так?
Сергей, вероятно была некорректная настройка. В целом, функционал Google Experiments считается устаревшим. Его перестали поддерживать с момента появления Google Optimize.
Рекомендуем настраивать тесты в нем.
Дмитрий Борзенко
Web-аналитик, Promodo
Прошлый дайджест мы целиком посвятили 180-летию Сбера, поэтому новостей накопилось много. Среди них — запуск сайта по распознаванию рукописей Петра I, большое обновление на платформе умного дома Sber и другие. Рассказываем всё самое интересное.