Hoe werkt statistische significantie?
Je vergelijkt twee groepen, bijvoorbeeld bezoekers die variant A of variant B van een A/B-test zien. Er is bijna altijd wel een verschil. De vraag is of dat verschil echt is, of bij een nieuwe meting zomaar kan verdwijnen.
De p-waarde helpt daarbij. Google Ads omschrijft die als de kans dat je de gemeten resultaten ziet als het experiment in werkelijkheid geen effect had. Hoe lager de p-waarde, hoe sterker de significantie. Google noemt 0,05 als voorbeeld van een grens, passend bij 95% betrouwbaarheid.
Een betrouwbaarheidsinterval geeft een bandbreedte. Toont Google Ads bij 95% betrouwbaarheid [+8%, +12%], dan presteert het experiment waarschijnlijk 8 tot 12% beter dan de oorspronkelijke campagne. Ligt de ondergrens van het interval boven nul, dan is de verbetering significant.
Significantie in Google Ads-experimenten
In een Google Ads-experiment zie je per meetwaarde of het verschil statistisch significant is. Een blauw sterretje geeft dat aan. Volgens Google komt het verschil dan waarschijnlijk niet door toeval. Ook is de kans groter dat het experiment na omzetting naar een campagne vergelijkbaar blijft presteren.
Je kiest zelf het betrouwbaarheidsniveau; standaard is dat 80%. Bij 80% heb je sneller een uitkomst dan bij 95%, maar ook meer kans op een toevalstreffer. Geen significant resultaat? Google noemt deze mogelijke oorzaken:
- Het experiment liep nog niet lang genoeg.
- De campagne krijgt te weinig verkeer.
- Het deel van het verkeer voor het experiment was te klein.
- De wijziging levert geen significant verschil op.
Wat statistische significantie niet zegt
De American Statistical Association (ASA) publiceerde op 7 maart 2016 een verklaring over p-waarden met zes principes. Drie ervan zijn vooral nuttig voor marketeers:
- Geen kans op gelijk: een p-waarde meet niet de kans dat je hypothese klopt. Het is ook niet de kans dat het resultaat puur toeval is.
- Geen maat voor omvang: een p-waarde of significantie zegt niets over hoe groot of belangrijk een effect is.
- Niet alleen op de drempel beslissen: baseer zakelijke beslissingen niet alleen op de vraag of een p-waarde onder een grens zakt.
Een voorbeeld: webshop Lampenhuis uit Eindhoven test een nieuwe knoptekst op 2 miljoen bezoekers, 1 miljoen per variant. De conversieratio stijgt van 2,00% naar 2,06%. Bij zoveel bezoekers is dat verschil significant, maar klein. Of het de moeite waard is, hangt af van wat die extra bestellingen opleveren.
Verwar statistische significantie niet met
- Effectgrootte: hoe groot het verschil is, bijvoorbeeld 3% meer conversies. Bij weinig data is een groot effect soms niet significant, bij veel data een klein effect juist wel.
- Incrementaliteit: het extra resultaat dat een campagne veroorzaakt. Een lifttest meet dat effect. De significantie zegt of je het gemeten effect kunt vertrouwen.
Veelgestelde vragen over Statistische significantie
Wat betekent statistisch significant?
Dat een gemeten verschil waarschijnlijk niet door toeval komt. Bij een nieuwe meting verwacht je dan een vergelijkbaar resultaat. Het zegt niets over hoe groot het verschil is.
Wat is een p-waarde?
De p-waarde is de kans dat je zo’n resultaat ziet als er in werkelijkheid geen effect is. Hoe lager de p-waarde, hoe sterker het bewijs. Een veelgebruikte grens is 0,05.
Hoe lang moet een test lopen voor een significant resultaat?
Dat hangt af van je verkeer, je conversieratio en de grootte van het verschil. Met weinig verkeer of een klein verschil duurt het langer. Bepaal daarom vooraf hoe lang de test loopt.