Hoe werkt een multivariate test?
Bij een A/B-test vergelijk je varianten van één wijziging. Bij een multivariate test verander je meer dan één ding tegelijk. Google omschrijft het zo: je zoekt het effect van elke wijziging, en ook wat wijzigingen samen doen.
Je kiest een paar plekken op de pagina, zoals de kop of de knop. Per plek maak je een aantal varianten. In de standaardvorm, de full-factorial test, test je alle mogelijke combinaties. Elke bezoeker krijgt willekeurig één combinatie te zien, en elke combinatie heeft dezelfde kans.
Het aantal combinaties vermenigvuldigt zich snel. Twee plekken met elk drie varianten geven negen combinaties (3×3). Drie plekken met elk drie varianten geven er al 27 (3x3x3).
Wat levert een multivariate test op?
- Hoofdeffect: welk onderdeel van de pagina de meeste invloed heeft op conversie. Zo weet je waar je de aandacht op moet richten.
- Interactie-effect: of onderdelen elkaar versterken. Een bepaalde kop werkt misschien alleen goed in combinatie met een bepaalde foto.
Google geeft een voorbeeld met lettertypes. Je test een nieuw lettertype op een knop, en tegelijk een ander lettertype op de rest van de pagina. Zo zie je of het nieuwe lettertype gewoon beter leest, of dat de knop opvalt omdat hij afwijkt van de rest.
Wanneer kies je een multivariate test?
Een multivariate test vraagt meer tijd en verkeer dan een A/B-test. Elke combinatie moet genoeg bezoekers krijgen voor een statistisch significant resultaat. Adobe geeft deze vuistregels:
- Minstens drie onderdelen: test je er minder, doe dan een reeks A/B-tests.
- Weinig verkeer: test dan maar een paar combinaties. Anders duurt de test te lang om bruikbaar te zijn.
- Layout en inhoud apart: test eerst de opbouw van de pagina met een A/B-test. Test daarna de inhoud per onderdeel met een multivariate test.
- Niets wijzigen tijdens de test: leg het ontwerp vooraf vast.
Is het aantal combinaties te groot, dan kun je een partial-factorial test doen, bijvoorbeeld volgens de Taguchi-methode. Je test dan maar een deel van de combinaties en maakt aannames over de rest. Voor SEO gelden dezelfde regels als bij een A/B-test.
Voorbeeld: productpagina van een fietsenwinkel
Fietsenwinkel Zadelvast uit Zwolle wil de productpagina van een e-bike verbeteren. De winkel test drie onderdelen tegelijk:
| Onderdeel | Varianten | Aantal |
|---|---|---|
| Kop | Productnaam / voordeel voor de koper | 2 |
| Hoofdfoto | Productfoto / foto in gebruik / video | 3 |
| Knop | In winkelwagen / Plan een proefrit | 2 |
Dat geeft 2x3x2 = 12 combinaties. De pagina krijgt 6.000 bezoekers per week, dus elke combinatie krijgt er 500. Bij een conversieratio van 2% zijn dat tien conversies per combinatie per week. Dat is te weinig voor een snelle conclusie. Zadelvast schrapt daarom de video als fotovariant: 2x2x2 = 8 combinaties, met 750 bezoekers per combinatie per week. Ook dan moet de test een aantal weken lopen.
Veelgestelde vragen over Multivariate test
Wat is het verschil tussen een A/B-test en een multivariate test?
Een A/B-test vergelijkt varianten van één wijziging. Een multivariate test varieert meerdere onderdelen tegelijk en test hun combinaties. Daardoor zie je ook of onderdelen elkaar versterken.
Hoeveel verkeer heb je nodig voor een multivariate test?
Dat hangt af van je conversieratio en het aantal combinaties. Elke combinatie moet genoeg bezoekers krijgen voor een betrouwbare uitkomst. Met weinig verkeer test je beter minder combinaties.
Wat is een full-factorial test?
Een multivariate test waarin je alle mogelijke combinaties van varianten test, elk met dezelfde kans. Twee onderdelen met drie varianten geven negen combinaties.