GEO-эксперимент на инкрементальность: дизайн от гипотезы до решения

Редакция mevrica

Аналитика5 мин чтения

Обновлено 2 августа 2026 г.

GEO-эксперимент проверяет, какую часть результата реклама добавила сверх того, что произошло бы без изменения воздействия. Географические единицы — регионы, города или кластеры — назначаются в тест и контроль, после чего сравнивается изменение целевой метрики. Метод полезен, когда индивидуальный holdout недоступен, но требует строгой защиты от перетока аудитории и параллельных изменений.

Почему не хватает обычного до/после

Сезонность, новости, конкуренты и продуктовые релизы меняются одновременно с рекламой. Контрольные GEO помогают оценить контрфактический результат, а рандомизация снижает систематическую разницу между группами.

1. Сформулируйте причинный вопрос

Вопрос должен называть вмешательство, аудиторию, метрику и период: например, изменит ли добавление конкретного канала подтверждённую выручку в выбранных GEO по сравнению с обычной медиамикс-моделью. Формулировка «работает ли реклама» слишком широка.

2. Определите экспериментальную единицу

Единица должна быть географически непересекающейся, доступной для таргетинга и измерения. Административная граница удобна не всегда: фактический медиарынок и перемещение пользователей могут требовать объединения соседних территорий.

3. Выберите вмешательство

Тест может добавлять расход, выключать канал или менять интенсивность. Запишите точную разницу между treatment и control. Если обе группы получают непредсказуемо меняющийся медиамикс, оценить эффект выбранного воздействия нельзя.

4. Назначьте основную метрику

Одна primary metric определяет успех теста. Для арбитражной экономики это может быть зрелая подтверждённая маржа или ценность, но не сырой клик. Дополнительные метрики объясняют механизм, не заменяя заранее выбранный критерий.

5. Установите защитные метрики

Следите за ошибками оплаты, отказами, жалобами, качеством лидов и другими ограничениями. Положительный lift не оправдывает ухудшение обязательного качества или нарушение правил источника.

6. Соберите pre-period

До рандомизации нужен период истории с одинаковым определением метрик. Он используется для проверки стабильности, подбора пар и оценки вариативности, но не для выбора «красивых» регионов после просмотра результата теста.

7. Исключите непригодные GEO

Не включайте территории с неполными данными, невозможным таргетингом, уникальной кампанией или ожидаемым локальным событием, которое затронет только одну группу. Правила исключения фиксируются до назначения.

8. Оцените загрязнение

Пользователь может жить в контрольном регионе, работать в тестовом и видеть рекламу по другому сигналу местоположения. Также возможны национальные кампании, органические публикации и офлайн-эффект. Перечислите каналы перетока и решите, какой уровень допустим.

9. Сформируйте сопоставимые пары

Пары подбирают по уровню и динамике primary metric, размеру аудитории и значимым сезонным признакам. Google Research отмечает сложности GEO-дизайна: число регионов часто невелико, распределения тяжелохвостые, а показатели сильно меняются во времени.

10. Проведите рандомизацию

Внутри каждой пары случайно назначьте treatment и control. Сохраните seed, список единиц и код назначения. Ручная перестановка после рандомизации разрушает интерпретацию, даже если группы визуально становятся ровнее.

11. Рассчитайте мощность

До запуска оцените минимальный обнаруживаемый эффект при доступном числе GEO, длительности и бюджете. Если тест способен увидеть только нереалистично большой lift, честное решение — изменить дизайн или не запускать, а не надеяться на значимый p-value.

12. Зафиксируйте длительность

Тест должен покрывать лаг воздействия и дозревание primary metric. Дата окончания задаётся заранее. Остановка в первый удачный день повышает риск ложного вывода; продление после неудачного результата меняет исходный дизайн.

13. Проверьте готовность данных

• Единое определение события во всех GEO
• Стабильный часовой пояс и cutoff
• Нет пропусков по отдельной группе
• Изменения схемы логируются
• Расход и фактическая доставка доступны по GEO
• Поздние статусы могут быть восстановлены

14. Запустите A/A-проверку

До вмешательства примените будущий анализ к pre-period или псевдопериодам. A/A не доказывает идеальность метода, но выявляет систематический перекос, ошибку агрегации и слишком частые ложные тревоги.

15. Контролируйте фактическую доставку

Назначение не гарантирует исполнение. Ежедневно проверяйте расход, показы и долю целевой аудитории в группах. Если treatment фактически не получил отличающееся воздействие, результат оценивает назначение, а не обещанный медиаплан.

16. Не меняйте сопутствующие условия

Разные цены, лендинги, CRM-правила или лимиты оффера по группам смешивают эффекты. Неизбежное изменение документируется с временем и охватом, после чего оценивается, остаётся ли эксперимент интерпретируемым.

17. Анализируйте по заранее выбранному методу

Метод должен учитывать парность, pre-period и возможную неоднородность GEO. Не перебирайте модели до получения желаемого ответа. Показывайте point estimate, интервал неопределённости и фактическую разницу воздействия.

18. Разделяйте lift и iROAS

Абсолютный incremental lift показывает добавленный результат. iROAS связывает его с дополнительным расходом. Положительный lift может быть экономически слабым, если стоимость вмешательства выше добавленной ценности.

19. Проверьте устойчивость

Повторите расчёт с заранее допустимыми вариантами: исключением повреждённого GEO, альтернативным окном дозревания и проверкой влияния крупнейшей пары. Если вывод держится только на одном регионе, это важная часть результата.

20. Превратите оценку в решение

До теста задайте действия для положительного, отрицательного и неопределённого исхода. Неопределённость не равна нулевому эффекту: она означает, что дизайн не дал достаточной точности для выбранного решения.

Не переносите эффект автоматически

Результат относится к выбранным GEO, периоду, медиамиксу и интенсивности. Масштабирование на другие рынки требует проверки переносимости, а иногда нового эксперимента.

Первичные источники

Google Research описывает случайное назначение непересекающихся GEO в treatment и control: https://research.google/pubs/measuring-ad-effectiveness-using-geo-experiments/. Проектирование пар при малом числе и неоднородности GEO: https://research.google/pubs/trimmed-match-design-for-randomized-paired-geo-experiments/

Вывод

Сильный GEO-тест начинается не с карты, а с причинного вопроса и исполнимого вмешательства. Pre-period, пары, рандомизация, power, контроль загрязнения и заранее выбранный анализ превращают региональное сравнение в основание для решения, а не в ещё один корреляционный отчёт.