ChatGPT, Perplexity, Gemini, Claude en Copilot: waar elke machine zijn antwoorden vandaan haalt

Antwoordmachines lijken van buiten op elkaar: er gaat een vraag in, er komt een antwoord met bronnen uit. Van binnen verschillen ze op drie punten: de index waaruit elke machine ophaalt, de crawlers die die index voeden, en de manier waarop citaties de lezer bereiken. De meeste praktische verschillen volgen uit de index, want een machine kan alleen citeren wat zijn retrieval-systeem kan bereiken.

Eén kanttekening vooraf. Niet elke backend is openbaar. Sommige bedrijven documenteren hun retrieval-pijplijn in detail, andere documenteren alleen hun crawlers. Waar iets niet gedocumenteerd is, zegt deze pagina dat precies zo. De gedeelde mechanica van retrieval-augmented generation komt aan bod in hoe antwoordmachines hun bronnen kiezen; deze pagina is het naslagwerk per machine.

ChatGPT

OpenAI documenteert drie fetchers: GPTBot verzamelt content om foundation models te trainen, OAI-SearchBot toont websites in de zoekfuncties van ChatGPT, en ChatGPT-User haalt een pagina op wanneer de actie van een gebruiker dat vereist. De gedocumenteerde hefboom is OAI-SearchBot: OpenAI stelt dat sites die zich daarvoor afmelden niet worden getoond in ChatGPT-zoekantwoorden. Tokendetails en de afwegingen bij blokkeren komen aan bod in AI-crawlers.

Wat OpenAI niet documenteert is de samenstelling van de index achter ChatGPT-zoeken of hoe bronnen daarbinnen worden gerangschikt. Beweringen dat het op een bepaalde index van derden draait, worden door OpenAI niet bevestigd en moeten als niet-geverifieerd worden behandeld. OpenAI documenteert ook geen citatierapport voor uitgevers.

Perplexity

Perplexity documenteert twee agents. PerplexityBot toont en linkt websites in de zoekresultaten van Perplexity en wordt volgens de documentatie niet gebruikt om content te crawlen voor AI-foundationmodellen. Perplexity-User haalt pagina's op voor gebruikersvragen en negeert robots.txt doorgaans, omdat een persoon om de fetch heeft gevraagd. PerplexityBot blokkeren beschermt dus niets aan de trainingskant; het haalt je alleen uit de resultaten van Perplexity.

Buiten die crawlerbeschrijvingen documenteert Perplexity niet openbaar hoe zijn retrieval-index wordt samengesteld of hoe bronnen worden gerangschikt, en het documenteert geen citatierapport voor uitgevers.

Gemini en de AI-functies van Google

Google is de best gedocumenteerde machine. De gids over AI-functies stelt dat AI Overviews en AI Mode retrieval-augmented generation gebruiken die gegrond is in de kern-rankingsystemen van Search, waarbij pagina's uit de Search-index worden opgehaald. De toegangseis is klassiek: crawlbaar, geïndexeerd, snippet-geschikt. Antwoorden tonen prominente, klikbare links naar de onderliggende pagina's, en Search Console bevat een prestatierapport voor generatieve AI, de manier om dit verkeer vanuit de bron zelf te zien.

Aan de crawlerkant voedt Googlebot Search en alles wat daarop gebouwd is, terwijl Google-Extended een robots.txt-bedieningstoken is dat Gemini-modeltraining en specifieke grounding-toepassingen regelt, niet de opname in Search. Dat onderscheid wordt vaak verkeerd gelezen.

Claude

Anthropic documenteert drie agents: ClaudeBot verzamelt webcontent die kan bijdragen aan modeltraining, Claude-SearchBot analyseert content om de relevantie en juistheid van zoekantwoorden te verbeteren, en Claude-User haalt pagina's op wanneer mensen Claude vragen stellen. De ontwikkelaarsdocumentatie van Anthropic stelt dat antwoorden die met webzoeken tot stand komen citaties bevatten voor de bronnen die uit de resultaten zijn geput.

De index achter dat zoeken is niet openbaar gedocumenteerd. Het crawlerartikel beschrijft wat elke agent doet, niet waar zoekresultaten vandaan komen, en de ontwikkelaarsdocumentatie noemt geen zoekaanbieder of index. Elke bewering over welke index het webzoeken van Claude aandrijft, is niet geverifieerd. Anthropic documenteert geen citatierapport voor uitgevers.

Microsoft Copilot

Copilot is het duidelijkste geval van een machine die op een bestaande zoekindex is gebouwd. Microsoft documenteert het retrieval-pad voor Microsoft 365 Copilot en Copilot Chat: wanneer webzoeken aanstaat, genereert Copilot een zoekopdracht uit de prompt van de gebruiker, stuurt die naar de Bing-zoekdienst, en gebruikt de resultaten om het antwoord in webdata te gronden. Zichtbaarheid in die antwoorden loopt dus via de index van Bing en zijn crawler, Bingbot. Hoe Copilot de Bing-resultaten die het ontvangt weegt of selecteert, is niet gedocumenteerd.

In februari 2026 voegde Bing Webmaster Tools een AI Performance-rapport toe in publieke preview, dat citaties dekt in Microsoft Copilot, door AI gegenereerde samenvattingen in Bing, en geselecteerde partnerintegraties. Het laat zien welke URL's worden geciteerd, welke grounding-zoekopdrachten ze ophaalden, en hoe de citatieactiviteit over tijd verandert. Daarmee zijn Google en Microsoft de enige twee bedrijven met een citatierapport vanuit de bron zelf; OpenAI, Anthropic en Perplexity documenteren geen equivalent.

Wat dit betekent voor je robots.txt

De tokens hierboven vallen uiteen in trainingscrawlers, zoekcrawlers en door gebruikers getriggerde fetchers, en ze blokkeren heeft verschillende gevolgen. Een trainingsbot als GPTBot of ClaudeBot blokkeren is een beleidskeuze zonder gedocumenteerde kosten in de antwoorden van welke machine dan ook. Een zoekbot als OAI-SearchBot of PerplexityBot blokkeren haalt je van het citatieoppervlak van die machine. De afwegingen, token voor token, staan in AI-crawlers.

Het werk is gedeeld, de oppervlakken verschillen

Niets hierboven telt op tot vijf aparte disciplines. Elke machine heeft dezelfde inputs nodig: pagina's die zijn crawler kan bereiken, passages die een antwoord duidelijk genoeg formuleren om te citeren, en content die actueel wordt gehouden. De machines verschillen in hoe zwaar ze op actualiteit leunen: in een onderzoek van 7.683 pagina's en 47.097 citaties citeerde Gemini in 78 procent van de gevallen content die binnen het afgelopen jaar was bijgewerkt, ChatGPT in 73 procent en Perplexity in 65 procent. Wat je bijwerkt, en hoe vaak, komt aan bod in actualiteit.

Wat wel verschilt is je positie per machine, omdat de indexen verschillen. De enige manier om te weten waar je staat, is per machine meten, met herhaalde monsters in plaats van steekproeven. Neem ook monsters over talen heen: in metingen van merkantwoorden van LLM's verklaart de taal van de vraag 26,5 tot 32,0 procent van de antwoordvariantie, terwijl merkidentiteit 1,5 procent verklaart. Wat dat betekent voor markten komt aan bod in meertalige GEO.