Что такое A/B тестирование а также почему этот метод необходимо
А/Б тестирование составляет собой способ сравнения двух а также дополнительных решений веб-страницы, интерфейса, текста, CTA-элемента, формы, рассылки, промо креатива или иного веб элемента. Его цель проявляется в этом, дабы определить, какая вариант результативнее функционирует в фактической аудитории. Вместо предположений плюс личных оценок задействуется тест на настоящей посетителей, где контрольная доля просматривает версию A, тогда как вторая — формат B.
Подобный метод позволяет формировать действия на основе данных, а не личных предпочтений а также единичных выводов. В аналитических материалах, среди них 1вин, регулярно отмечается, что А/Б проверка наиболее полезно в тех случаях, при которых точечные изменения могут сказываться на поведение пользователей: нажатия, оформления профилей, заполнение форм, объем просмотра, удержание, заказы, оформления подписок а также иные нужные шаги. Метод позволяет увидеть, реально ли корректировка улучшает 1win эффект.
Как проводится сплит тестирование
Механизм сплит эксперимента достаточно прост. На первом этапе берется блок, который необходимо протестировать. Это может оказаться заголовок, визуальный тон элемента действия, последовательность блоков, текст подсказки, структура анкеты, визуал, тариф, формат оффера или расположение целевого шага. Далее создаются как минимум пары варианта: первоначальный и обновленный. После этим поток пользователей делится среди вариантами согласно заранее установленным параметрам.
Контрольная группа пользователей сохраняет возможность просматривать старую вариацию, тогда как вторая видит обновленную. Платформа собирает данные о реакциях любой группы и сравнивает метрики. Если вариант B демонстрирует более сильный показатель на фоне значительном количестве данных, его допустимо использовать. В случае если разницы нет либо обновленная страница функционирует слабее, правка отклоняется. Как раз в таком подходе а также проявляется реальная значимость теста: он помогает проверять гипотезы до окончательного 1вин релиза.
Для чего используется A/B тестирование
A/B тестирование нужно для уменьшения неясности. В веб платформах включая малая правка может сказываться на понимание экрана. Конкретный headline может оказаться понятнее иного, короткая заявка способна заполняться регулярнее объемной, а заметно более заметная кнопка имеет шанс усилить количество кликов. При отсутствии тестирования эти результаты часто выглядят предположениями.
Подход позволяет развивать сервис шаг за шагом. Вместо масштабной переработки полного ресурса либо сервиса можно оценивать точечные блоки плюс измерять практический показатель. Такой подход уменьшает риск неудачных правок, сокращает расход ресурсы а также дает возможность накапливать данные про реакциях пользователей. Со периодом команда 1 win собирает не комплект суждений, но систему проверенных действий.
Какие именно элементы допустимо тестировать
Проверять получается почти каждый элемент, который сказывается в отношении поведение пользователя. Как правило преимущественно оценивают названия, подзаголовки, CTA для клику, тексты элементов действия, поля оформления аккаунта, позицию блоков, картинки, страницы продуктов, порядок шагов, инструменты отбора, список разделов, промоблоки, сообщения, email-сообщения а также маркетинговые креативы. Необходимо, дабы указанный элемент оставался соотнесен с конкретной точной задачей.
Когда ориентир состоит в процессе повышении переданных заявок, правильно сравнивать анкету, текст около нее, количество строк плюс выразительность элемента действия. Когда необходимо усилить глубину просмотра, имеет смысл проверять навигацию, блоки предложений, внутрисайтовые линки а также логику материала. Если точнее соотношение 1win между правкой а также целью, тем самым ценнее итог проверки.
Проверяемая идея в роли основа эксперимента
Всякий хороший сплит проверка стартует от гипотезы. Проверяемая идея показывает, какое именно правка предлагается, из-за чего оно имеет шанс сказаться на эффект плюс какого типа результат обязан поменяться. К примеру, допустимо допустить, если упрощение заявки создания профиля уменьшит число отказов, поскольку ведь посетителю нужно будет значительно меньше минут ради окончания действия.
Качественная проверяемая идея не должна должна казаться чрезмерно широкой. Формулировка вроде «сделать интерфейс удобнее» не позволяет помогает измерить показатель. Более полезный пример: «если заменить растянутый надпись CTA на сжатый плюс понятный, объем кликов повысится, поскольку что действие будет очевиднее». Эта формулировка сразу 1вин указывает объект теста, основание плюс показатель.
Базовая плюс измененная выборки
В сплит проверке контрольная аудитория видит старый вариант, а проверочная — новый. Такое разделение нужно для корректного сопоставления. Когда просто поменять страницу а также сравнить метрики до изменения и после изменения, эффект имеет шанс стать неточным вследствие сезонных факторов, рекламной активности, изменения каналов трафика, событий, системных сбоев или прочих окружающих причин.
Синхронный показ разных вариантов уменьшает роль внешних условий. Две выборки находятся внутри близкой обстановке: тот же плюс же же период, одинаковые самые потоки пользователей, близкие девайсы плюс одинаковый окружение. Из-за этого отличие в метриках с высокой 1 win большей степенью вероятности соотносится в первую очередь с изменением, но не с внешними обстоятельствами.
Какого типа показатели задействуются при А/Б экспериментах
Критерий — является число, согласно которому измеряется итог теста. Определение показателя зависит от назначения эксперимента. В случае раздела с анкетой важны отправки обращений, для торговой площадки — добавления в покупку плюс заказы, в случае контентного проекта — объем изучения и длительность просмотра, в случае сервиса — создания аккаунтов, первые действия, возвращаемость плюс следующие 1win действия.
Важно разграничивать ключевую а также дополнительные критерии. Главная демонстрирует, для чего проводится проверка. Дополнительные помогают выявить побочные последствия. Например, правка кнопки способно повысить нажатия, при этом уменьшить ценность последующих событий. Из-за этого важно анализировать не только исключительно на стартовый этап, однако еще в сторону последующее действие: выполнение анкеты, возвращения, отказы, ошибки а также суммарную эффективность действия.
Статистическая значимость
Статистическая значимость демонстрирует, как возможно, поскольку полученная отличие среди решениями не считается является случайной. Если один формат немного превосходит второй по итогам ряда десятков единиц визитов, подобный итог еще не подтверждает означает победу. В условиях ограниченном массиве сведений итог может оперативно сдвинуться, когда 1вин выборка будет больше.
Для надежного заключения необходимо достаточное количество событий. Насколько меньше планируемая отличие среди вариантами, тем объемнее наблюдений потребуется накопить. Когда изменение обязано повысить показатель всего примерно на пару %, проверке потребуется значительно больше времени плюс посещений. Статистическая существенность помогает избегать формировать преждевременные действия с опорой на основе нестабильных изменений.
Размер выборки а также срок проверки
Объем группы воздействует по части качество вывода. В случае если проверка получает слишком ограниченный объем посетителей, результаты способны стать сомнительными. К примеру, несколько дополнительных переходов внутри конкретной группе имеют шанс показываться как увеличение, при этом в условиях крупном объеме будут нормальной колебанием. Следовательно перед старта полезно оценивать, сколько пользователей 1 win либо событий потребуется с целью проверки гипотезы.
Длительность эксперимента также сохраняет значение. Слишком короткий эксперимент может не успеть показывать отличия среди рабочими и выходными сутками, дневной по времени и вечерней посещаемостью, отличающимися потоками посещений. Обычно эксперимент обязан захватывать завершенный круг активности посетителей. Но при таком подходе слишком долгий эксперимент равно неподходящ, в случае если сторонние факторы начинают существенно измениться.
Почему не стоит изменять тест в течение период запуска
Одна из распространенных ошибок — добавлять правки в тест после старта. Если в середине проверки изменить формулировку, группу, интерфейс, условия вывода а также цель, показатели станут неоднородными. В таком случае будет трудно понять, что конкретно повлияло на эффект. Тест утратит чистоту, а заключения станут спорными 1win.
Перед начала необходимо определить предположение, варианты, метрики, разбивку выборки и условия остановки. С момента старта лучше не стоит менять условия без наличия критичной основания. Если найдена проблема внутри запуске а также служебный сбой, разумнее остановить эксперимент, починить ошибку а также запустить новый проверку, вместо того чтобы пытаться анализировать испорченные показатели.
Синхронное тестирование многих правок
Порой формируется идея оценить за один раз ряд решений: обновленный headline, другую кнопку действия, укороченную форму плюс обновленный последовательность элементов. Этот вариант может выдать суммарный результат, при этом не сможет раскроет, какого типа конкретно элемент воздействовал в отношении метрику. Если измененная страница выиграла, будет непонятно, что помогло лучше прочего.
С целью чистой сравнения чаще всего изменяют единственный значимый фактор на 1вин одну проверку. Когда нужно проверить многие сочетаний, используется многофакторное сравнение. Оно многоуровневее, предполагает большего трафика плюс внимательной оценки. Ради основной части целей А/Б проверка с конкретной ясной идеей дает более корректный плюс полезный эффект.
Примеры A/B экспериментов внутри интерфейсе
На уровне интерфейсах A/B тестирование часто применяется ради улучшения ясности шагов. В частности, допустимо сопоставить две форматы заявки: объемную с большим множеством полей плюс краткую с минимальным числом полей. Если короткая анкета повышает количество оконченных регистраций без риска снижения ценности заявок, ее получается оценивать намного более результативной.
Следующий пример — тестирование формулировки кнопки. Общая надпись способна стать гораздо менее ясной, по сравнению с прямое название шага. Кроме того сравнивают расположение CTA-элементов, порядок информационных блоков, дизайн 1 win пояснений, присутствие прогресс-бара, метод показа ошибок и число этапов на протяжении сценарии. Любой этот фактор влияет на то, насколько легко выполнить заданное действие.
А/Б эксперимент в содержании
В содержании тестирование позволяет понять, какого типа заголовки, анонсы, построения а также форматы эффективнее удерживают внимание. Можно сопоставлять отличающиеся вступления, объем текста, порядок объяснений, присутствие списков, подачу элементов, представление преимуществ или стиль раскрытия трудной темы. Однако при таком подходе важно анализировать не только нажатия, но и последующее поведение.
Headline имеет шанс повысить объем кликов, однако когда содержание не будет отвечает запросам, повысится процент отказов. Следовательно редакционные тесты обязаны учитывать ценность чтения: время изучения, глубину страницы, переходы внутри ресурса, повторные визиты а также совершение целевых действий. Качественный итог — представляет собой не только лишь получение интереса, а согласование интереса плюс содержания.
А/Б эксперимент внутри email-рассылках
Внутри email-рассылках обычно проверяют темы писем, название отправителя, стартовые предложения, период отправки, длину email, расположение элементов действия плюс тексты офферов. Один сегмент подписчиков получает первую формат письма, второй сегмент — другую. Затем этого анализируются open rate, нажатия, unsubscribes, претензии а также последующие реакции внутри ресурсе.
Важно не сводить анализ метрикой open rate. Subject-строка рассылки может быть заметной а также получать внимание, но если формулировка не сможет отвечает контенту, клики и доверие могут уменьшиться. Следовательно качественный email-тест анализирует цельную цепочку: просмотр, переход, активность вслед за нажатия плюс отклик подписчиков касательно рассылку.