Новости Яндекса — Эксперименты в Директе для всех и новый отчёт в Метрике


Эксперименты в Директе позволяют сравнивать на основе статистики любые настройки рекламы: в том числе, стратегии управления ставками, любые типы кампаний и даже медиапланы разных рекламных агентств. Проще говоря, эксперименты — это А/Б‑тесты с широкими возможностями.

Прежде этот инструмент был доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой. С появлением нового отчёта в Метрике для проведения теста больше не нужны специальные навыки, и провести эксперимент сможет бизнес любого размера. Сделать выводы теперь несложно: система автоматически проверит, накопилось ли достаточно данных для анализа, и выделит Больше выигрышные значения показателей зелёным, а менее удачные — красным. Но не будем забегать вперёд и Объясним обо всём по порядку.

Как это работает

Для начала нужно запустить эксперимент. к примеру, с помощью этого инструмента можно:

  • выбрать наиболее эффективную стратегию управления ставками,
  • сравнить размещения на поиске и в сетях,
  • протестировать разные типы кампаний или любые их настройки — к примеру, попробовать запустить видеорекламу, чтобы проверить, насколько это выгодный формат.  

Запуская эксперимент, важно иметь ввиду несколько важных моментов:

  1. Тестировать только одну гипотезу за раз.
  2. В идеальном случае в эксперименте должно набираться минимум 200 конверсий для статистически значимого результата. Если данных меньше, лучше исследовать цель, которая находится выше по воронке продаж и достигается чаще.
  3. Если нужно сравнить эффективность ручной и автоматических стратегий, важно, чтобы за время эксперимента кампании потратили одинаковое количество средств.

О том, как устроены эксперименты в Директе, как их запустить, и о самых распространенных сценариях мы рассказывали в отдельной статье. Подробное руководство можно найти также в Помощи Яндекс.Аудиторий и Директа.

Где оценивать результат

Новый отчёт появится в интерфейсе Метрики в разделе «Источники → Директ» сразу после создания эксперимента. Чтобы оценить статистику по эксперименту, переключите отчёт в режим сравнения:

Обычно после запуска тестирования нужно подождать около двух недель, чтобы накопилось достаточно статистики. Если данных окажется слишком мало, невозможно будет уверенно сделать вывод о том, какой из вариантов оказался лучше. Как с подкидыванием монетки: если из десяти бросков «орёл» выпал два раза, а «решка» — восемь, это вовсе не значит, что «орёл» всегда выпадает Значительно реже.

Как понять, что данных достаточно

Чтобы узнать, достаточно ли данных для сравнения, нужно оценить их статистическую значимость. Иными словами, убедиться, что текущий результат будет незначительно отличаться от того, который мы бы получили, если бы подкидывали монетку бесконечно много раз.

Вручную считать ничего не придётся — Метрика рассчитывает статистическую значимость эксперимента автоматически.

Данных достаточно, когда показатели, по которым вы решили оценивать эксперимент, выделены в отчёте цветом:

  • Зелёный означает, что экспериментальный Формат оказался значимо лучше контрольного — то есть того, с которым вы его сравниваете.
  • Красный — значимо хуже.
  • Серый — данных достаточно, но показатели контрольной кампании не отличаются от экспериментальной.

Отсутствие цвета может означать две вещи:

  • Данных ещё недостаточно. Нужно подождать ещё какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.
  • Для показателя недоступно сравнение. Список всех показателей, которые можно сравнивать, есть в Помощи Метрики.

Вместе с отчётом в Метрике можно использовать калькулятор проверки достоверности теста

Отчёт в Метрике даёт быстрый ответ на вопрос «достаточно ли данных для оценки», а ещё позволяет сравнить конверсионные метрики контрольных и экспериментальных кампаний. к примеру, если вы тестируете разные варианты лендингов, отчёт в Метрике покажет, какой из них показывает Больше высокую конверсию. Сравнение конверсии также пригодится, если вы проверяете разные аудиторные таргетинги: к примеру, хотите понять, кто лучше откликается на ваш контент — мужчины или женщины.

Если с помощью эксперимента вы хотите проверить, какой из вариантов покажет лучший показатель CPA (стоимость целевого действия), поможет наш новый Калькулятор достоверности теста. к примеру, если вы сравниваете разную величину корректировок ставок, в калькуляторе можете вручную ввести расходы по каждому из вариантов, количество конверсий и кликов — а система сама рассчитает CPA, проверит, достаточно ли данных, и покажет Больше выгодный Формат.

Чтобы вам было проще проводить эксперименты, мы составили небольшую шпаргалку:

Подробности о работе с отчётом Метрики по экспериментам Директа есть в Помощи Метрики. А если у вас останутся вопросы, пожалуйста, напишите в отдел клиентского сервиса. Будем рады помочь!



Источник: Яндекс

0 0 vote
Рейтинг

Pechkin

Собираю свежие новости про интернет торговлю и интернет-магазины.

Подписаться
Уведомление о
0 Комментарий
Inline Feedbacks
View all comments