Причинный анализ и эксперименты
«Оцените эффект акции», «как новая станция метро повлияла на аренду», «помогла ли программа лояльности». Чтобы ответить, нужно с чем-то сравнить.
Главный вопрос: что было бы без воздействия?
Эффект = что произошло − что произошло бы без воздействия (контрфактический исход). Второе слагаемое увидеть нельзя, его приходится оценивать по контрольной группе.
Простые сравнения обычно ошибаются:
- «До и после» смешивает эффект с тем, что и так менялось со временем: инфляция, сезон, кризис.
- «С воздействием и без» смешивает эффект с тем, чем группы отличались изначально (смещение отбора).
Рандомизированный эксперимент и A/B-тест
Если воздействие назначают случайно, группы в среднем одинаковы по всем признакам, в том числе по тем, которые мы не видим. Тогда разница исходов объясняется только воздействием.
- Пользователей случайно делят на A (старая версия) и B (новая). Метрику выбирают до начала теста.
- Тест нельзя останавливать «как только стало значимо»: из-за этого растёт число ложных находок.
- Новизна может временно поднимать метрику: пользователи кликают просто потому, что что-то поменялось.
- Проверьте, что группы получились нужного размера. Перекос (например, 60/40 вместо 50/50) говорит о технической ошибке.
Разность разностей (difference-in-differences)
Есть группа, которую воздействие затронуло (treatment), и похожая группа, которую не затронуло (control). Обе наблюдаем до и после.
Пример
Выручка магазина, где запустили доставку: 100 → 120. В похожем магазине без доставки: 90 → 100. Эффект = (120 − 100) − (100 − 90) = 20 − 10 = 10.
Если в это же время в обоих магазинах начался сезон распродаж, это общее событие попадёт в обе разности и сократится. Именно поэтому нужна контрольная группа.
Ключевая предпосылка — параллельные тренды. Без воздействия группы менялись бы одинаково. Проверка: до воздействия линии на графике идут параллельно. Если они расходились ещё до реформы, оценка ненадёжна.
Как читать график
- Найдите год воздействия. До него линии должны идти параллельно.
- После него продолжите линию группы воздействия параллельно контрольной: это «что было бы».
- Эффект — расстояние между фактической линией и этой воображаемой, а не разница между двумя реальными линиями.
- Пример со станцией метро: квартиры рядом с новой станцией (treatment) и далеко от неё (control), годы до и после открытия. Если аренда далёких квартир выросла на 3 тыс., а ближних на 8 тыс., эффект станции ≈ +5 тыс.
Другие идеи, которые полезно знать
- Плацебо-проверка: «применить» метод к году, когда ничего не происходило. Эффект должен получиться ≈ 0.
- Естественный эксперимент: воздействие распределилось почти случайно само (граница района, лотерея, дата рождения).
- Сравнение похожих (матчинг): каждому объекту из группы воздействия подбирают максимально похожий объект из контрольной.
Ещё примеры
В магазине A ввели бесплатную парковку, число покупателей выросло на 8%. В похожем магазине B без парковки за то же время — на 3%. Оцените эффект парковки.
8% − 3% = 5 п. п. При условии, что до этого число покупателей в двух магазинах менялось одинаково.
После запуска рекламы продажи выросли на 20%. Можно ли сказать, что реклама дала +20%?
Нет. Нужна контрольная группа (регион или аудитория без рекламы), иначе эффект смешан с сезонностью и общим трендом.