Welke AI-crawlers zijn er?
Er is geen officiële definitie van een AI-crawler. De documentatie van OpenAI, Anthropic en Perplexity deelt de bots wel op dezelfde manier in: naar het doel waarvoor een bot een pagina ophaalt. Deze namen kun je tegenkomen in serverlogs of in robots.txt (stand november 2026):
| Aanbieder | Training | AI-zoekfunctie | Op verzoek van een gebruiker |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | geen (PerplexityBot is niet voor training) | PerplexityBot | Perplexity-User |
| Google-Extended (alleen een token) | Googlebot (ook voor gewone zoekresultaten) | Google-Agent |
Google-Extended is geen eigen crawler. Google haalt pagina’s op met de bestaande user-agents en gebruikt het token alleen om je voorkeur te lezen. Die voorkeur geldt voor training van Gemini-modellen en voor grounding in de Gemini-apps, niet voor Google Zoeken.
Hoe blokkeer je een AI-crawler?
Je zet een regel per user-agent in het robots.txt-bestand in de hoofdmap. Anthropic vraagt om dat te doen voor elk subdomein dat je wilt afschermen. Een voorbeeld dat training weigert, maar de zoekcrawlers toelaat:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Let op het verschil tussen de soorten. Blokkeer je OAI-SearchBot, dan toont ChatGPT je site niet meer in zoekantwoorden. Blokkeer je Claude-SearchBot, dan kan je zichtbaarheid in de zoekresultaten van Claude afnemen. Bots die een gebruiker zelf aanstuurt, volgen robots.txt niet altijd. Bij ChatGPT-User geldt het mogelijk niet, en Perplexity-User en de fetchers van Google negeren het meestal. Anthropic zegt dat je Claude-User wel via robots.txt kunt sturen.
Volgens Anthropic werkt het blokkeren van IP-adressen mogelijk niet goed als opt-out: de bot kan dan je robots.txt niet meer lezen. Bedenk ook dat robots.txt een verzoek is en geen toegangsbeveiliging.
Een nieuw signaal voor AI-training
Google wil begin 2027 het gedeelde, machineleesbare AIPREF-signaal voor trainingsvoorkeuren ondersteunen, met de regel user-agent: __usage_ai-training (stand oktober 2026). Tot die tijd regel je het per aanbieder, met de user-agents uit de tabel.
Verwar een AI-crawler niet met
- Crawlen door zoekmachines: Googlebot haalt pagina’s op voor Google Zoeken, inclusief AI Overviews en AI Mode. Een blokkade voor Googlebot geldt dus ook voor de gewone zoekresultaten.
- llms.txt: een bestand dat AI-systemen een samenvatting van je site geeft. Het blokkeert geen enkele crawler.
Veelgestelde vragen over AI-crawler
Moet ik AI-crawlers blokkeren?
Dat hangt af van je doel. Wil je als bron in AI-antwoorden verschijnen, laat dan de zoekcrawlers toe, zoals OAI-SearchBot en Claude-SearchBot. Training kun je apart weigeren, bijvoorbeeld door GPTBot en ClaudeBot te blokkeren.
Houden AI-crawlers zich aan robots.txt?
De automatische crawlers van OpenAI, Anthropic en Perplexity stuur je via robots.txt. Bots die een gebruiker zelf aanstuurt, zoals ChatGPT-User, Perplexity-User en Google-Agent, volgen het niet altijd.
Is GPTBot hetzelfde als OAI-SearchBot?
Nee. GPTBot haalt content op die OpenAI kan gebruiken voor training. OAI-SearchBot zorgt dat je site in de zoekantwoorden van ChatGPT kan verschijnen. Je stelt ze los van elkaar in.