Hoe bepaalt Google je crawlbudget?
Google kan niet elke URL op het web crawlen. Daarom krijgt elke site een beperkte hoeveelheid tijd en middelen. Met een site bedoelt Google hier een hostnaam: www.example.nl en shop.example.nl hebben elk een eigen crawlbudget. Twee factoren bepalen hoe groot dat budget is:
- Crawlcapaciteit: hoeveel Google kan crawlen zonder je server te overbelasten. Reageert je site snel en stabiel, dan gaat de limiet omhoog. Bij tragere antwoorden, 5xx-fouten of een 429-status gaat hij omlaag.
- Crawlvraag: hoeveel Google wil crawlen. Dat hangt onder meer af van het aantal bekende URL’s, de populariteit van pagina’s en hoe snel ze verouderen.
Is de vraag laag, dan crawlt Google minder, ook als de capaciteit niet op is. En niet elke gecrawlde pagina komt ook in de index.
Voor welke sites is crawlbudget belangrijk?
Google richt zijn handleiding over crawlbudget vooral op deze sites. De aantallen zijn volgens Google een grove schatting, geen harde grenzen:
- Grote sites met meer dan een miljoen unieke pagina’s die ongeveer wekelijks veranderen.
- Sites met meer dan 10.000 unieke pagina’s waarvan de content dagelijks verandert.
- Sites waarvan een groot deel van de URL’s in Search Console de status ‘Discovered – currently not indexed’ heeft.
Worden je nieuwe pagina’s meestal op de dag van publicatie gecrawld? Dan hoef je volgens Google niets extra’s te doen. Het is genoeg om je sitemap actueel te houden en geregeld het indexeringsrapport in Search Console te bekijken.
Voorbeeld: een webshop met filters
Lampenhandel Noord verkoopt 30.000 producten. Elke combinatie van filters op kleur, fitting en prijs levert een nieuwe URL op. Googlebot besteedt daardoor veel tijd aan bijna gelijke pagina’s. Nieuwe lampen komen pas na dagen aan de beurt.
De shop doet daarom vier dingen, in lijn met de adviezen van Google:
- Dubbele pagina’s samenvoegen.
- Filter-URL’s die niet in Google hoeven te staan, blokkeren in robots.txt.
- Verwijderde producten een 404- of 410-status geven.
- Lange ketens van redirects inkorten.
Een noindex-tag helpt hier niet. Google moet de pagina dan nog steeds ophalen om de tag te zien, en dat kost net zo goed crawltijd.
Veelgestelde vragen over Crawlbudget
Heeft een kleine website last van crawlbudget?
Meestal niet. Worden je pagina’s op de dag van publicatie al gecrawld, dan heb je de handleiding van Google niet nodig. Een actuele sitemap is dan genoeg.
Is crawlbudget een rankingfactor?
Nee. Volgens Google leidt vaker crawlen niet vanzelf tot betere posities. Crawlen is nodig om in de zoekresultaten te komen. Het is zelf geen rankingsignaal.
Hoe krijg je meer crawlbudget?
Google noemt twee manieren. Is je server de beperking, breid dan de capaciteit uit. De tweede manier: verbeter je content. Google kijkt onder meer naar populariteit, waarde voor gebruikers en unieke content.