Hoe werkt een geo-experiment?
Je deelt een land op in regio’s die elkaar niet overlappen. Elke regio komt willekeurig in de testgroep of in de controlegroep. Met geotargeting zorg je dat alleen de testregio’s de verandering krijgen. Na afloop vergelijk je de verkopen in beide groepen.
Google gebruikte deze methode al in 2011. Onderzoekers van Google noemden geo-experimenten toen eenvoudig van opzet, met resultaten die makkelijk te lezen zijn. Een holdout-test werkt met dezelfde logica, maar dan per persoon.
Het voordeel van regio’s: je meet de totale verkoop in een gebied, niet alleen wat een advertentieplatform aan zichzelf toeschrijft. Zo kun je ook verkopen in winkels meetellen, en meerdere kanalen in één test meten. Google raadt een geo-experiment aan als je het totale, niet-toegeschreven extra rendement van je campagnes wilt weten.
Drie soorten geo-experimenten
Google onderscheidt drie opzetten. Welke je kiest, hangt af van je vraag:
| Soort | Wat je doet in de testregio’s | Vraag die je beantwoordt |
|---|---|---|
| Holdback | Een nieuw kanaal of een nieuwe aanpak alleen hier starten | Levert dit nieuwe kanaal iets op? |
| Go-dark | Je bestaande campagnes helemaal uitzetten | Voegt wat al loopt echt iets toe? |
| Heavy-up | Extra budget op bestaande campagnes zetten | Blijft meer budget winstgevend? |
Met de open-source tool Meridian GeoX van Google kun je meerdere opzetten in één test vergelijken met één controlegroep. De uitkomsten gebruik je ook om een marketing mix model bij te stellen. Die tool rekent met tijdreeksregressie, niet met een simpele vergelijking van totalen.
Valkuilen bij het opzetten
- Reizende klanten: iemand ziet je advertentie in een testregio en koopt in een controleregio. Dat vervuilt de controlegroep en maakt het gemeten effect kleiner.
- Interesse in een locatie: kies in Google Ads bij de locatieopties voor Aanwezigheid (Presence), niet voor Aanwezigheid of interesse. Anders lekken advertenties naar mensen buiten de testregio’s.
- Budget dat verschuift: haal je bij een go-dark-test regio’s uit een campagne met een vast budget, dan geeft Google dat geld uit in de controleregio’s. Verlaag het dagbudget dus mee.
- Biedaanpassingen: Smart Bidding negeert biedaanpassingen per locatie. Voor een heavy-up-test met Smart Bidding dupliceer je de campagne.
- Andere tests: draai geen lifttests op gebruikersniveau op dezelfde campagnes. Wijzig ook zo min mogelijk tijdens de test.
- Te weinig historie: de data van vóór de test moet minstens drie keer zo lang zijn als de test zelf.
Voorbeeld: helpt YouTube de showrooms?
Keukenzaak De Snijplank heeft showrooms door heel Nederland en adverteert altijd op YouTube. De vraag is of die bezoekers niet toch wel komen. De zaak draait vier weken een go-dark-test. In de helft van de regio’s gaat YouTube uit. De andere helft is de controlegroep. De zaak heeft data van twaalf weken vooraf:
| Periode | Controleregio’s (per week) | Go-dark-regio’s (per week) | Verhouding |
|---|---|---|---|
| 12 weken vóór de test | 400 afspraken | 380 afspraken | 0,95 |
| 4 weken test | 410 afspraken | 351 afspraken | 0,86 |
Zonder ingreep hadden de go-dark-regio’s bij dezelfde verhouding zo’n 390 afspraken per week gehaald. Het werden er 351, ongeveer 10% minder. Dat wijst erop dat YouTube daar goed is voor zo’n 10% van de showroomafspraken. Of dat verschil groter is dan de gewone schommeling tussen weken, rekent een tool als Meridian GeoX uit.
Veelgestelde vragen over Geo-experiment
Wat is het verschil tussen een geo-experiment en een A/B-test?
Bij een A/B-test verdeel je personen of sessies over varianten. Bij een geo-experiment verdeel je regio’s. Daardoor meet je ook verkopen die je niet per persoon kunt volgen.
Kan ik een geo-experiment doen in Google Ads?
Ja. Je past de locatietargeting van je campagnes per regio aan. Google biedt daarnaast een bètaversie van Conversion Lift op basis van geografie, via je accountmanager.
Hoe lang moet een geo-experiment duren?
Dat hangt af van je volume en de tijd tot aankoop. Zorg in elk geval voor historische data van minstens drie keer de testduur.