Как тестировать разные рекламные ролики на городских экранах

Отделите проверку ролика от проверки гипотезы

Тест разных роликов на городских экранах начинается с одного вопроса, сопоставимых условий и заранее выбранного наблюдения. Подготовьте варианты с понятным различием, согласуйте распределение по местам и времени, проверьте фактический выход и только затем сравнивайте данные. Количество обращений без такого плана не позволяет уверенно выбрать лучший сюжет.

Есть два разных уровня работы. Первый — проверить, понимают ли сообщение, различают ли название и правильно ли воспроизводится файл. Второй — сравнить реакцию в полевой кампании. Просмотр несколькими коллегами помогает первому уровню, но не превращается в измерение эффекта на городскую аудиторию.

На улице нет обычной кнопки воспроизведения: человек может увидеть середину ролика и встретить его повторно на другом адресе. Поэтому способ распределения и доступные данные существенно влияют на вывод. Не переносите автоматически схему индивидуального интернет-теста на физические поверхности.

Сначала решите, какая информация изменит дальнейшее действие. Нужно выбрать более ясную формулировку, проверить конкретный образ или понять, сохраняется ли смысл без длинного вступления? Чем точнее вопрос, тем меньше риск объявить победителем вариант, который просто оказался в более удобных обстоятельствах.

Техническая подготовка описана в статье о ролике для наружной рекламы. В тестовой работе важно закончить эту подготовку до распределения: исправление случайного дефекта посередине сравнения создаёт уже другую версию.

Сформулируйте одну проверяемую разницу

Гипотеза должна связывать изменение с ожидаемым наблюдением. Например: прямое название услуги может быть понятнее образной фразы для незнакомой аудитории. Или крупный продукт может лучше объяснять категорию в коротком контакте. Такие предположения дают направление сравнения, но не обещают результат заранее.

Если одновременно изменить заголовок, фотографию, название предложения и действие, можно сравнить два целых решения. Однако определить вклад отдельного элемента после этого не получится. Для первого рабочего теста обычно удобнее сохранить остальное и выбрать одно существенное различие.

Выберите критерий до запуска. Для проверки смысла это могут быть ответы после короткого просмотра. Для кампании — доступное действие бизнеса при известном способе наблюдения. У критерия должно быть понятное определение, а не расплывчатое «второй кажется бодрее».

Не называйте любую правку тестом. Если в первом файле был неверный адрес, его исправление обязательно по содержанию. Сравнивать ошибочную версию с правильной ради выбора не нужно. Сначала устраните фактические и технические проблемы, затем проверяйте альтернативы.

Добавьте заранее ожидаемый способ действия по итогу. Если новая фраза окажется понятнее во внутреннем просмотре, вы готовы заменить заголовок? Если полевые данные останутся смешанными, продолжите сравнение или выберете более простой материал? Такой вопрос защищает от проверки ради самой таблицы: команда понимает, какое решение действительно зависит от наблюдений, а какое уже принято по другим причинам.

Сделайте версии сравнимыми до размещения

Дайте вариантам нейтральные обозначения и сохраните их отдельно. Название «красивый» для одного и «старый» для другого уже направляет внутреннее обсуждение. Удобнее использовать A и B с краткой записью отличия, датой и именем производственного файла.

Сверьте длительность, пропорции, качество экспорта и обязательное содержание. Если эти параметры должны быть одинаковыми по плану, различие не должно появиться случайно. Один ролик может оказаться длиннее из-за лишнего кадра, другой — иметь обрезанный адрес после адаптации.

Перед выходом вариантов

1. Проверьте факты предложения и доступность действия.
2. Откройте оба готовых экспорта вне монтажного проекта.
3. Сравните начало, завершение и места переходов.
4. Посмотрите без звука и со случайного момента.
5. Запишите единственную версию каждого варианта, допущенную к сравнению.

Внутреннюю проверку проводите без подсказки. Человек сначала смотрит материал, затем называет рекламодателя, предложение и действие. Если автор перед показом объяснил идею, ответы уже отражают дополнительную информацию. Запишите это как ограничение, а не как доказательство ясности самого ролика.

Для разных пропорций подготовьте согласованные адаптации. Следите, чтобы сравниваемая переменная сохраняла смысл: новый ракурс не должен случайно превратиться в другой размер продукта только на одном экране. Если это неизбежно, различие следует включить в описание вариантов.

После допуска не меняйте файл молча по прежней ссылке. Любая содержательная правка создаёт новую версию. Если она необходима в процессе кампании, зафиксируйте время и решите, с какого момента данные снова сопоставимы.

Согласуйте места и периоды сравнения

Вариант A на одном адресе и вариант B на другом могут получить разные условия: направление, окружение, время и аудиторию маршрута. Разница результата в таком размещении не обязана происходить из ролика. По возможности уменьшайте число отличающихся обстоятельств.

Один рабочий подход — выделить сопоставимые группы мест и временные блоки, в которых представлены оба варианта. Например, сравнивать сообщения в одинаковых типах дней, меняя порядок по заранее согласованному плану. Конкретная возможность зависит от оператора и продукта; распределение нельзя подразумевать только из факта цифрового показа.

В руководстве NIST по блочным планам эксперимента внешние различия учитываются через сопоставимые блоки условий. Для наружной рекламы это полезный принцип планирования, но сама карта размещения ещё не образует полноценный случайный эксперимент.

В Екатеринбурге две поверхности в одном районе не обязательно обслуживают один маршрут. Предварительно изучите стороны и полезные часы. Сезонная обстановка, дорожные изменения и событие рядом с одной площадкой могут стать существенными внешними факторами.

Если случайное распределение недоступно, прямо называйте сравнение наблюдательным. Оно может подсказать следующую гипотезу и обнаружить явную проблему, но не обеспечивает автоматически причинный вывод. Не обещайте статистическую точность, которую план и данные не поддерживают.

Сначала проверьте, что варианты действительно вышли

До анализа отклика восстановите фактическое размещение. Оба ли файла приняты? На тех ли сторонах и в тех ли временных блоках? Не был ли один вариант остановлен или заменён? Если условия исполнения отличаются, сначала опишите это, а затем решайте, можно ли сравнивать результат.

Попросите отчёт в разрезе, который соответствует плану: поверхность, период, версия и принятая единица показа. Общая цифра за всю кампанию может скрыть перекос между материалами. Данные должны позволять отличить запланированное распределение от фактического.

Не исправляйте неравное исполнение произвольным коэффициентом. Если один вариант показывался вечером, другой утром, пересчёт на одинаковое число выходов не устраняет разницу аудитории. Сначала поймите, что именно изменилось и какие сравнения остаются допустимыми.

Фото или видео отдельного момента полезно для проверки изображения, но не подтверждает весь план распределения. Вопросы отчётности подробно разбираются в статье о проверке показов на экране.

Если в середине сравнения обнаружен дефект, зафиксируйте его и подготовьте исправление. Не продолжайте проблемный материал только ради формального окончания плана. Затем определите, какие периоды нужно исключить из содержательного сравнения и требуется ли новый запуск.

Выберите наблюдение, которое можно собрать честно

На городском экране обычно нельзя исходить из знания, какой именно человек увидел вариант и затем обратился. Не предполагайте распознавание каждого прохожего или наличие индивидуальной истории контактов. Используйте только фактически доступные данные с понятным происхождением.

Можно отдельно наблюдать работу страницы, обращения по теме предложения или динамику по точкам и периодам. Но нужно понимать границы привязки к ролику. Человек мог увидеть обе версии, обратиться позже или воспользоваться общим контактом, не сохранив обозначение источника.

Если для вариантов используются разные страницы, проверьте весь переход заранее. Страницы должны различаться только в пределах плана: иначе более удобная форма у одного варианта станет отдельной причиной результата. Самостоятельное распространение специальной ссылки в другом канале тоже влияет на наблюдения.

При учёте действий на сайте можно использовать цели; конкретные события описаны в документации Яндекс Метрики. Настроенная цель фиксирует предусмотренное действие, а не доказывает предшествующий просмотр уличного ролика.

Связь экрана с дальнейшим поиском и сайтом разобрана в статье о продолжении контакта в интернете. Для теста заранее решите, какие переходы сможете различить и какие останутся смешанными.

Не объявляйте победителя по случайному различию

Небольшое число наблюдений может давать большой относительный процент. Учебный пример: показатель вырос с двух обращений до трёх. Разница составляет одно обращение, относительный прирост — 50%. Красиво оформленный процент не делает вывод устойчивым и не объясняет причину изменения.

Такой пример не задаёт минимальную выборку для любой кампании. Требуемый объём зависит от задачи, исходной вариативности, способа распределения и того различия, которое имеет смысл обнаружить. Нельзя назначить универсальное число дней или контактов без этих условий.

Что проверить перед выводом

• Сколько наблюдений стоит за процентом.
• Насколько одинаково работали места и периоды.
• Изменялись ли предложение, цена и другие каналы.
• Могли ли люди встретить оба варианта.
• Есть ли задержка между контактом и действием.
• Соответствует ли измеренный признак исходной гипотезе.

Одинаковое число выходов тоже не означает одинаковую возможность контакта. Отсутствие данных об аудитории не следует заменять предположением, что каждый выход имеет одну и ту же ценность. Счёт трансляций полезен для проверки исполнения, но сам не создаёт показатель реакции людей.

Не ищите удобный показатель после завершения. Если изначально проверяли понятность услуги, рост посещения другой страницы может не отвечать этому вопросу. Сохраните первичный критерий, а неожиданные наблюдения обозначьте отдельно как идеи для следующей проверки.

При недостатке данных допустимый результат — «различие не установлено в доступных условиях». Это полезнее искусственной победы. Команда всё равно может улучшить очевидную читаемость или исправить рабочий процесс, не выдавая такое решение за доказанный эффект теста.

Повторяйте проверку с известными изменениями

Повторение помогает понять, сохраняется ли наблюдение в других сопоставимых блоках. Оно не означает механически продлить кампанию до появления желаемого результата. До нового этапа зафиксируйте, какие условия сохраняете и зачем добавляете период.

Если в первой попытке вариант B получил другие часы, можно запланировать более сбалансированное распределение. Если проблема была в читаемости, сначала пересоберите материал и обозначьте новую версию. Это уже другой вопрос, поэтому историю следует разделить.

Отдельно решите, как остановить проверку. Основанием могут быть достигнутый план наблюдения, непригодность исполнения, завершение актуального предложения или заранее установленное ограничение ресурсов. Не определяйте окончание только по тому, кто временно лидирует в текущей таблице.

Короткая запись нового этапа

• Исходное наблюдение и открытый вопрос.
• Версии, допущенные к повторению.
• Места, периоды и способ распределения.
• Критерий и доступный способ сбора.
• Ограничения сравнения и условие завершения.

Один и тот же материал может быть ясным на спокойном пешем подходе и слишком сложным для короткого автомобильного контакта. Это не обязательно противоречивый результат: важно, для какого сценария сделан вывод. Не распространяйте его за пределы проверенных условий.

Для нескольких экранов заранее оцените ресурс управления. Большое число файлов и блоков может создать ошибки назначения. Небольшой план с ясным различием часто полезнее сложной таблицы, исполнение которой никто не способен восстановить по отчёту.

Разделите наблюдение и решение бизнеса

В итогах запишите, что фактически сравнивалось и что удалось увидеть. Например: вариант с прямым названием лучше поняли участники внутреннего просмотра; в полевой части условия различались, поэтому вклад ролика не установлен. Эти два вывода могут сосуществовать и требовать разных действий.

Решение выбрать один вариант допустимо и при ограниченных данных, если причина названа честно: ясность, стоимость подготовки, соответствие бренду или удобство обновления. Не заменяйте эту причину утверждением о доказанном росте продаж.

Архив проверки должен содержать версии, план, фактические выходы, наблюдения и решения. Так следующий специалист сможет восстановить ход работы. Название файла «победитель» без этих сведений не объясняет, где и почему его выбрали.

Общий план бизнес-измерений раскрывает статья об эффективности наружной рекламы. В сравнении роликов держите более узкий вопрос: какое различие проверяли и какие основания есть изменить материал.

Вопросы о тестировании роликов