ReportsBerichte / AEO
Systems with and without web searchSysteme mit und ohne Websuche
A language model without retrieval answers from its parametric memory; a RAG system supplements it with retrieved documents (Lewis et al. 2020). Which providers retrieve when is described in the respective product documentation. How quickly training data changes is not verified here.
Ein Sprachmodell ohne Abruf antwortet aus seinem parametrischen Gedächtnis; ein RAG-System ergänzt es um abgerufene Dokumente (Lewis et al. 2020). Welche Anbieter wann abrufen, steht in den jeweiligen Produktbeschreibungen. Wie schnell sich Trainingsdaten ändern, ist hier nicht belegt.
- Without retrievalOhne Abruf
- Training knowledgeTrainingswissen
- With retrievalMit Abruf
- Documents + model (RAG)Dokumente + Modell (RAG)
Two paths
| Type | Source of the answer | What providers document |
|---|---|---|
| Without retrieval | Training knowledge (parametric memory) | Training crawlers: GPTBot, ClaudeBot; control via robots.txt |
| With retrieval (RAG) | Retrieved documents plus model | Search and user crawlers: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User |
Conclusion (recommendation)
Keep the same details on your own pages current and unambiguous so that they support the same statement on both paths. The effect per provider is not verified.
Sources
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401v4) (primary source)
- OpenAI: Overview of OpenAI crawlers (primary source)
- Perplexity Docs: Crawlers (primary source)
- Anthropic Support: Does Anthropic crawl data from the web? (primary source)
Checked on: 24 October 2026.
Zwei Wege
| Typ | Quelle der Antwort | Was Anbieter dokumentieren |
|---|---|---|
| Ohne Abruf | Trainingswissen (parametrisches Gedächtnis) | Trainings-Crawler: GPTBot, ClaudeBot; Steuerung per robots.txt |
| Mit Abruf (RAG) | Abgerufene Dokumente plus Modell | Such- und Nutzer-Crawler: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User |
Folgerung (Empfehlung)
Dieselben Angaben auf eigenen Seiten aktuell und eindeutig halten, damit sie in beiden Wegen dieselbe Aussage stützen. Welche Wirkung das je Anbieter hat, ist nicht belegt.
Quellen
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401v4) (Primärquelle)
- OpenAI: Overview of OpenAI crawlers (Primärquelle)
- Perplexity Docs: Crawlers (Primärquelle)
- Anthropic Support: Does Anthropic crawl data from the web? (Primärquelle)
Stand der Prüfung: 24. Oktober 2026.
QuestionsFragen
Is optimizing for Google alone enough?Reicht Optimierung nur für Google?
That is a project decision. The providers document their own crawlers with their own rules.
Das ist eine Entscheidung je Projekt. Die Anbieter dokumentieren eigene Crawler mit eigenen Regeln.
Does training change more slowly than the live index?Ändert sich Training langsamer als der Live-Index?
That is not verified.
Das ist nicht belegt.
Which bots belong to training and which to search?Welche Bots gehören zu Training, welche zur Suche?
See the table in the report on Perplexity, ChatGPT and Claude.
Siehe Tabelle im Bericht zu Perplexity, ChatGPT und Claude.