Hoe crawlt Google een website?
Er bestaat geen centrale lijst van alle webpagina’s. Google zoekt daarom steeds naar nieuwe en gewijzigde pagina’s. Nieuwe URL’s komen op verschillende manieren binnen:
- via links op pagina’s die Google al kent, zoals een categoriepagina die naar een nieuw artikel linkt;
- via een sitemap die je bij Google indient.
Het programma dat de pagina’s ophaalt, heet Googlebot. Een algoritme bepaalt welke sites Googlebot crawlt, hoe vaak en hoeveel pagina’s per site. Googlebot probeert een server niet te overbelasten en remt af bij foutmeldingen zoals HTTP 500. Tijdens het crawlen voert Google ook JavaScript uit, met een recente versie van Chrome.
Googlebot bestaat in een smartphone- en een desktopversie. Google indexeert bij de meeste sites vooral de mobiele versie, dus de meeste verzoeken komen van de smartphonecrawler. Van een HTML-bestand haalt Googlebot de eerste 2 MB op, van een pdf de eerste 64 MB. Hoeveel Google op je site crawlt, heet het crawlbudget.
Voorbeeld: een nieuwe pagina in een theewinkel
Theewinkel Het Blad publiceert een nieuwe pagina over groene thee. De homepage linkt ernaar en het CMS zet de URL automatisch in de sitemap. Googlebot vindt de pagina via die link en haalt die op.
De winkel wil niet wachten en vraagt in Search Console met de URL-inspectietool om een crawl. Volgens Google is dat geen garantie dat de pagina snel, of überhaupt, in de zoekresultaten komt. Crawlen kan een paar dagen tot een paar weken duren. Een tweede verzoek voor dezelfde URL helpt niet.
Hoe stuur of blokkeer je het crawlen?
Met een robots.txt-bestand vertel je crawlers welke URL’s ze op je site mogen ophalen. Volgens Google is dat vooral bedoeld om je server niet te overbelasten. Het is geen manier om een pagina uit Google te houden. Een geblokkeerde URL kan toch in de zoekresultaten verschijnen, alleen zonder beschrijving.
Wil je een pagina niet in Google? Gebruik dan noindex. Mag niemand de pagina zien, ook bezoekers niet? Zet er dan een wachtwoord op. Lees meer over robots.txt en SEO.
Zie je verdacht verkeer van Googlebot in je serverlogs? Andere crawlers doen zich vaak voor als Googlebot. Google raadt aan dat te controleren met een reverse DNS lookup op het IP-adres.
Verwar crawlen niet met
- Indexeren: de stap na het crawlen. Google analyseert de pagina en slaat de informatie op in de index. Niet elke gecrawlde pagina komt in de index.
- Scrapen: content van andere sites overnemen, vaak automatisch, en die zelf publiceren. Gebeurt dat om rankings te manipuleren, dan valt het onder het spambeleid van Google.
Veelgestelde vragen over Crawlen
Wat betekent crawlen?
Crawlen betekent dat een programma van een zoekmachine je pagina’s bezoekt en de inhoud ophaalt. Bij Google heet dat programma Googlebot. Het is de eerste stap richting de zoekresultaten.
Hoe lang duurt het voordat Google een pagina crawlt?
Volgens Google een paar dagen tot een paar weken. Je kunt om een crawl vragen met de URL-inspectietool in Search Console. Vaker vragen maakt het niet sneller.
Hoe voorkom je dat Google een pagina crawlt?
Met een regel in robots.txt. De URL kan dan nog wel in Google verschijnen, zonder beschrijving. Wil je de pagina uit de zoekresultaten houden, gebruik dan noindex.