Hoe werkt een holdout-test?
Het advertentieplatform verdeelt je doelgroep willekeurig over twee groepen. De testgroep ziet je advertenties zoals normaal. De holdoutgroep, ook wel controlegroep, ziet ze niet. Bij Google krijgen mensen in die groep in plaats van jouw advertentie de volgende advertentie uit de veiling te zien.
Na de test vergelijk je het aandeel conversies in beide groepen. Wat de testgroep meer doet, komt door je advertenties. Dat extra resultaat heet incrementaliteit. Google spreekt van een holdback, Meta van een holdoutpercentage.
Zorg dat de holdoutgroep echt geen vergelijkbare reclame ziet. Ziet die groep je advertenties via een andere campagne, dan raakt de controlegroep vervuild. Google raadt daarom af om lifttests tegelijk te draaien, bijvoorbeeld op prospectie en remarketing. Test je maar een deel van je campagnes, dan wordt het effect ook lastiger te meten.
Hoe groot en hoe lang?
In Google Ads kies je bij Conversion Lift een holdback van 1% tot 50%. Bij Meta stel je het holdoutpercentage per groep in; test- en controlegroep samen zijn altijd 100%. Google noemt de afweging:
- Grote holdoutgroep: meer data in kortere tijd, maar je laat meer mensen je advertentie mislopen. Dat kost mogelijk verkopen.
- Kleine holdoutgroep: minder gemiste verkopen, maar de test moet langer lopen om een verschil te kunnen zien.
Een test mag bij Google vanaf 7 dagen, maar Google raadt minstens 14 dagen aan. Bij een lange tijd tussen advertentie en aankoop vond Google tot 17% minder gemeten lift in tests die korter dan 14 dagen liepen. De meeste adverteerders doen 1 tot 2 van zulke tests per jaar.
Voorbeeld: levert remarketing echt iets op?
Webshop Brokkenbaas uit Tilburg verkoopt hondenvoer en twijfelt aan de remarketingcampagne. Google Ads schrijft er veel verkopen aan toe, maar die kopers waren al op de site. De webshop draait vier weken een test met een holdout van 10%:
| Groep | Gebruikers | Aankopen | Conversieratio |
|---|---|---|---|
| Testgroep (90%) | 90.000 | 1.260 | 1,4% |
| Holdoutgroep (10%) | 10.000 | 100 | 1,0% |
De groepen zijn niet even groot, dus je vergelijkt de conversieratio. Zonder remarketing had de testgroep bij 1,0% zo’n 900 aankopen gedaan. De campagne leverde dus ongeveer 360 extra aankopen op: ruim een kwart van de aankopen in de testgroep. Een significantietoets op het verschil tussen 1,4 en 1,0% geeft een p-waarde van ongeveer 0,001, dus toeval is onwaarschijnlijk. Het effect is echt, maar veel kleiner dan wat de attributie in Google Ads liet zien.
Verwar een holdout-test niet met
- A/B-test: vergelijkt twee varianten van een advertentie of pagina. Beide groepen zien iets. Bij een holdout-test ziet een groep niets.
- Go-dark-test: je zet de advertenties in bepaalde regio’s helemaal uit. Zo toets je of bestaande campagnes iets toevoegen. Dat is een vorm van geo-experiment: je deelt in per regio, niet per persoon.
Veelgestelde vragen over Holdout-test
Wat is een holdoutgroep?
Een willekeurig gekozen deel van je doelgroep dat je advertenties tijdens de test niet ziet. Die groep laat zien hoeveel conversies er zonder je campagne waren geweest.
Hoe groot moet een holdoutgroep zijn?
In Google Ads kies je 1 tot 50%. Een grotere groep geeft sneller een betrouwbaar resultaat, maar kost meer gemiste verkopen. Een kleinere groep vraagt een langere test.
Hoe lang duurt een holdout-test?
Google staat tests vanaf 7 dagen toe, maar raadt minstens 14 dagen aan. Bij dure producten met een lange beslistijd heb je meer tijd nodig.