AI-zichtbaarheid

AI-crawler

Definitie

Een AI-crawler is een bot die webpagina's ophaalt voor een AI-toepassing, zoals het trainen van taalmodellen, een AI-zoekfunctie of een vraag van een gebruiker. Aanbieders als OpenAI en Anthropic gebruiken per doel een aparte user-agent. Die kun je in robots.txt los van elkaar toestaan of blokkeren.

Ook wel: AI-bot
Niveau: gevorderd
Bijgewerkt: 2 november 2026
Kort samengevat
  • Verzamelnaam voor bots die content ophalen voor training, AI-zoekfuncties of verzoeken van gebruikers.
  • Per doel een eigen user-agent, zoals GPTBot voor training en OAI-SearchBot voor zoeken.
  • Blokkeer je een zoekcrawler, dan verschijn je minder of niet meer als bron in de AI-antwoorden van die aanbieder.

Welke AI-crawlers zijn er?

Er is geen officiële definitie van een AI-crawler. De documentatie van OpenAI, Anthropic en Perplexity deelt de bots wel op dezelfde manier in: naar het doel waarvoor een bot een pagina ophaalt. Deze namen kun je tegenkomen in serverlogs of in robots.txt (stand november 2026):

AanbiederTrainingAI-zoekfunctieOp verzoek van een gebruiker
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexitygeen (PerplexityBot is niet voor training)PerplexityBotPerplexity-User
GoogleGoogle-Extended (alleen een token)Googlebot (ook voor gewone zoekresultaten)Google-Agent

Google-Extended is geen eigen crawler. Google haalt pagina’s op met de bestaande user-agents en gebruikt het token alleen om je voorkeur te lezen. Die voorkeur geldt voor training van Gemini-modellen en voor grounding in de Gemini-apps, niet voor Google Zoeken.

Hoe blokkeer je een AI-crawler?

Je zet een regel per user-agent in het robots.txt-bestand in de hoofdmap. Anthropic vraagt om dat te doen voor elk subdomein dat je wilt afschermen. Een voorbeeld dat training weigert, maar de zoekcrawlers toelaat:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Let op het verschil tussen de soorten. Blokkeer je OAI-SearchBot, dan toont ChatGPT je site niet meer in zoekantwoorden. Blokkeer je Claude-SearchBot, dan kan je zichtbaarheid in de zoekresultaten van Claude afnemen. Bots die een gebruiker zelf aanstuurt, volgen robots.txt niet altijd. Bij ChatGPT-User geldt het mogelijk niet, en Perplexity-User en de fetchers van Google negeren het meestal. Anthropic zegt dat je Claude-User wel via robots.txt kunt sturen.

Volgens Anthropic werkt het blokkeren van IP-adressen mogelijk niet goed als opt-out: de bot kan dan je robots.txt niet meer lezen. Bedenk ook dat robots.txt een verzoek is en geen toegangsbeveiliging.

Een nieuw signaal voor AI-training

Google wil begin 2027 het gedeelde, machineleesbare AIPREF-signaal voor trainingsvoorkeuren ondersteunen, met de regel user-agent: __usage_ai-training (stand oktober 2026). Tot die tijd regel je het per aanbieder, met de user-agents uit de tabel.

Verwar een AI-crawler niet met

  • Crawlen door zoekmachines: Googlebot haalt pagina’s op voor Google Zoeken, inclusief AI Overviews en AI Mode. Een blokkade voor Googlebot geldt dus ook voor de gewone zoekresultaten.
  • llms.txt: een bestand dat AI-systemen een samenvatting van je site geeft. Het blokkeert geen enkele crawler.

Veelgestelde vragen over AI-crawler

Moet ik AI-crawlers blokkeren?

Dat hangt af van je doel. Wil je als bron in AI-antwoorden verschijnen, laat dan de zoekcrawlers toe, zoals OAI-SearchBot en Claude-SearchBot. Training kun je apart weigeren, bijvoorbeeld door GPTBot en ClaudeBot te blokkeren.

Houden AI-crawlers zich aan robots.txt?

De automatische crawlers van OpenAI, Anthropic en Perplexity stuur je via robots.txt. Bots die een gebruiker zelf aanstuurt, zoals ChatGPT-User, Perplexity-User en Google-Agent, volgen het niet altijd.

Is GPTBot hetzelfde als OAI-SearchBot?

Nee. GPTBot haalt content op die OpenAI kan gebruiken voor training. OAI-SearchBot zorgt dat je site in de zoekantwoorden van ChatGPT kan verschijnen. Je stelt ze los van elkaar in.

Gerelateerde begrippen

  • Crawlen

    Crawlen is het automatisch bezoeken en ophalen van webpagina's door een crawler, een programma van een zoekmachine.

  • llms.txt

    llms.txt is een tekstbestand in Markdown op een website, meestal op /llms.txt.

  • AI-zichtbaarheid

    AI-zichtbaarheid is de mate waarin een merk of website voorkomt in antwoorden van AI-assistenten en AI-zoekfuncties, zoals ChatGPT en Google AI Overviews.

  • ChatGPT

    ChatGPT is de AI-assistent van OpenAI waarmee je in gewone taal een gesprek voert: je stelt een vraag en een taalmodel schrijft het antwoord.

  • Claude

    Claude is de AI-assistent van Anthropic en tegelijk de naam van de familie grote taalmodellen waarop die assistent draait.

Bronnen

  1. OpenAI Developers, Overview of OpenAI Crawlers (geraadpleegd 31 oktober 2026).
  2. Claude Help Center (Anthropic), Does Anthropic crawl data from the web, and how can site owners block the crawler? (bijgewerkt 7 april 2026).
  3. Google Search Central, Google’s common crawlers (bijgewerkt 30 oktober 2026).
  4. Perplexity Docs, Perplexity Crawlers (geraadpleegd 31 oktober 2026).

Hulp nodig?

Wij helpen je van strategie tot uitvoering. Bekijk onze aanpak of plan een vrijblijvende kennismaking.