Jak ovládnout Causal Impact Analysis
Většina marketingových reportů plete korelaci s kauzalitou. Causal Impact pomáhá odpovědět na zásadní otázku: „Kolik by výkon byl bez této změny?“
Co je counterfactual
Counterfactual je simulace alternativní reality: jak by se testovací řada vyvíjela, kdyby se intervence nestala. Rozdíl mezi predikcí a skutečností je incremental lift.
Jak nastavit analýzu
Testovací skupina (Y): to, co měníte (kampaň, kanál, segment).
Kontrolní skupina (X): „barometr“ trhu, který má podobné chování, ale nebyl změnou ovlivněn.
Bez kontroly: model běží v Local Level režimu – použitelné, ale méně přesné při silné sezónnosti.
Jak číst výsledky
- Cumulative Impact: celkový čistý přínos od data intervence.
- Relative Effect: procentuální změna vůči očekávanému vývoji.
- p-value: statistická průkaznost výsledku.
Praktické scénáře
| Scénář | Test (Y) | Kontrola (X) | Cíl |
|---|---|---|---|
| Spuštění PMAX | PMAX kampaně | Brand Search / Direct | Skutečný incremental lift |
| Změna biddingu | Testovaná kampaň | Stabilní kampaň | Dopad nové strategie |
| TV/Brand zásah | Sessions / Leads | Trends index | Očištění o tržní poptávku |
Časté chyby
- Příliš krátké období po intervenci (méně než 14 dní).
- Kontaminovaná kontrolní skupina (měníte i kontrolu).
- Nesrovnatelná kontrola (jiná sezónnost, jiná cílovka).