Sample ratio mismatch (SRM)

Hoe herken je een SRM?

Je vergelijkt het aantal gebruikers per variant met wat je had ingesteld. Een klein verschil is normaal, want de verdeling is willekeurig. Bij 1.000 bezoekers en een 50/50-verdeling is 502 tegen 498 geen probleem. Maar 600 tegen 400 is zo onwaarschijnlijk dat er iets mis moet zijn.

Of een verschil te groot is, toets je met een chi-kwadraattoets. Die geeft een p-waarde: de kans op zo’n afwijking als de test goed werkt. De bekende SRM Checker van Lukas Vermeer sloeg alarm bij een p-waarde onder 0,01. In Python doe je de toets zo:

from scipy import stats
# ingesteld: 500/500, gemeten: 600/400
stats.chisquare([600, 400], [500, 500])[1]
# uitkomst: ongeveer 0.00000000025, dus een SRM

Let op: bij grote aantallen is ook een klein verschil al verdacht. Onderzoekers van Microsoft en Booking.com noemen een test met 821.588 tegen 815.482 gebruikers. Dat is 50,2 tegen 49,8%, maar de kans dat dit toeval is, is kleiner dan 1 op 500.000. De toets werkt ook bij een ongelijke verdeling, zoals 80/20.

Waarom is een SRM een probleem?

Een SRM betekent dat er in een van de varianten bezoekers ontbreken of te veel zijn. Daardoor zijn de groepen niet meer vergelijkbaar. Volgens onderzoekers van Microsoft, Booking.com en Outreach maakt een SRM de uitkomst in de meeste gevallen volledig onbruikbaar. De onderzoekers vergelijken een SRM met koorts: een symptoom van allerlei onderliggende fouten.

Een voorbeeld komt van MSN. Het team toonde in een carrousel 16 kaarten in plaats van 12. De test liet minder klikken zien. Maar de variant had te weinig gebruikers: een botfilter zag de actiefste gebruikers aan voor bots en haalde ze uit de analyse. Na correctie draaide de uitkomst om en bleek de wijziging positief.

SRM komt vaak voor. Bij Microsoft had ongeveer 6% van de experimenten een SRM. LinkedIn meldde dat ongeveer 10% van de getriggerde experimenten er last van had.

Veelvoorkomende oorzaken

• Toewijzing en meting op verschillende plekken: de server deelt de variant toe, maar de browser stuurt het meetevent. Testtool GrowthBook noemt dit de meest voorkomende en ernstigste oorzaak.
• Een tragere variant: laadt een variant langzamer, dan haken meer bezoekers af voordat de meting start. GrowthBook noemt al 100 milliseconden verschil als mogelijke oorzaak.
• Een redirect in één variant: een deel van de redirects mislukt. Stuur dan beide varianten door, ook de controlegroep.
• Filters en botdetectie: filters die in de ene variant meer mensen wegfilteren dan in de andere, zoals bij MSN.
• Wijzigingen tijdens de test: je past de targeting aan nadat de test is gestart.

Wat doe je bij een SRM?

Trek geen conclusies uit de test. Dat kan alleen met extra aannames, en die geven meestal zo’n brede marge dat je er weinig aan hebt. Zoek eerst de oorzaak. Kijk per segment, zoals browser of apparaat. Zit de afwijking vooral op de eerste dag, dan speelt er vaak iets met caching of een vertraagde start van een variant.

Het zoeken naar de oorzaak kan minuten tot maanden duren. De Chrome-extensie SRM Checker wordt niet meer onderhouden. Testtools als GrowthBook doen de SRM-check automatisch. Controleer dus of jouw tool dat doet, voordat je een winnaar kiest uit je A/B-test. Een uitkomst kan statistisch significant lijken en toch onbetrouwbaar zijn.

Veelgestelde vragen over Sample ratio mismatch