ReportsBerichte / AEO
Brand retrieval & RAG: what can be influencedBrand Retrieval & RAG: Was sich steuern lässt
RAG combines a language model with a retrieval module and a searchable knowledge store. It follows that the retrieved documents shape the content of the answer; a brand cannot control this directly. The bots of OpenAI, Perplexity and Anthropic are documented. An effect of measures on being named is not verified.
RAG verbindet ein Sprachmodell mit einem Abrufmodul und einem durchsuchbaren Wissensspeicher. Daraus folgt, dass die abgerufenen Dokumente den Inhalt der Antwort bestimmen; eine Marke kann das nicht direkt steuern. Dokumentiert sind die Bots von OpenAI, Perplexity und Anthropic. Eine Wirkung von Maßnahmen auf die Nennung ist nicht belegt.
- RAGRAG
- language model + retrieval module + knowledge storeSprachmodell + Abrufmodul + Wissensspeicher
- Lewis et al. (2020)Lewis et al. (2020)
- best results on three open-domain QA tasksBestwerte bei drei Open-Domain-QA-Aufgaben
- BotsBots
- 8 documented bots from OpenAI, Perplexity, Anthropic8 dokumentierte Bots von OpenAI, Perplexity, Anthropic
- ControllabilitySteuerbarkeit
- not directnicht direkt
- Effect of measuresWirkung von Maßnahmen
- not verifiednicht belegt
What is verified
Lewis et al. (2020) describe RAG as a combination of a pretrained sequence-to-sequence model (parametric memory) and a vector index over Wikipedia (non-parametric memory) searched by a neural retriever. The approach achieved best results on three open-domain question answering tasks. The paper does not describe how individual products such as ChatGPT or Perplexity choose their sources.
Inference (not a statement of the paper)
If a system retrieves passages from a knowledge store and answers from them, the content of the answer depends on the retrieved documents. A brand owner therefore cannot directly control whether and how a brand appears. This is an inference from the method, not a statement by Lewis et al.
Which bots fetch web pages?
| Provider | Bot | Purpose per provider | robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT search features | allow it to appear in search results |
| OpenAI | GPTBot | content that may be used for training | disallowing signals: not for training; independent of OAI-SearchBot |
| OpenAI | ChatGPT-User | user-initiated actions | robots.txt rules may not apply |
| Perplexity | PerplexityBot | showing and linking in Perplexity search results; no foundation model training | allowing recommended |
| Perplexity | Perplexity-User | user-initiated fetch | generally ignores robots.txt rules |
| Anthropic | ClaudeBot | content for training | honors robots.txt |
| Anthropic | Claude-User | fetch on user requests | disabling may reduce visibility in user-directed searches |
| Anthropic | Claude-SearchBot | improving search results | disabling may reduce visibility in search results |
According to OpenAI and Perplexity, robots.txt changes can take up to about 24 hours. Anthropic advises against IP blocking.
Working model for brands (recommendation)
- Maintain a public page with verifiable product details (name, specification, prices, date).
- Keep the details identical across all own channels.
- Check whether the search bots are allowed in robots.txt.
- Document errors in third-party sources and report them to the operators.
These steps are recommendations. An effect on whether the brand is named is not verified.
Not verified
This report describes a working model of the author. There is no primary source from Google, OpenAI, Perplexity or Anthropic for the individual steps; read them as recommendations, not as verified effects. The bot table only reproduces the providers' statements; how the bots influence the choice of sources in answers is not verified.
Sources
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401v4) (primary source)
- OpenAI: Overview of OpenAI crawlers (primary source)
- Perplexity Docs: Crawlers (primary source)
- Anthropic Support: Does Anthropic crawl data from the web? (primary source)
Checked on: 24 October 2026.
Was belegt ist
Lewis et al. (2020) beschreiben RAG als Kombination aus einem vortrainierten Sequenz-zu-Sequenz-Modell (parametrisches Gedächtnis) und einem Vektorindex über Wikipedia (nicht-parametrisches Gedächtnis), den ein neuronaler Retriever durchsucht. Das Verfahren erzielte bei drei Open-Domain-Frage-Antwort-Aufgaben Bestwerte. Wie einzelne Produkte wie ChatGPT oder Perplexity ihre Quellen wählen, beschreibt die Arbeit nicht.
Folgerung (keine Aussage der Arbeit)
Wenn ein System Passagen aus einem Wissensspeicher abruft und daraus antwortet, hängt der Inhalt der Antwort von den abgerufenen Dokumenten ab. Ob und wie eine Marke dabei vorkommt, kann der Betreiber der Marke deshalb nicht direkt steuern. Das ist eine Folgerung aus dem Verfahren, nicht eine Aussage von Lewis et al.
Welche Bots rufen Webseiten ab?
| Anbieter | Bot | Zweck laut Anbieter | robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Suchfunktionen von ChatGPT | erlauben, um in den Suchergebnissen aufzutauchen |
| OpenAI | GPTBot | Inhalte, die für das Training genutzt werden könnten | Ausschluss signalisiert: nicht für Training; unabhängig von OAI-SearchBot |
| OpenAI | ChatGPT-User | nutzerausgelöste Aktionen | robots.txt-Regeln gelten womöglich nicht |
| Perplexity | PerplexityBot | Anzeige und Verlinkung in Perplexity-Suchergebnissen; kein Foundation-Model-Training | Freigabe empfohlen |
| Perplexity | Perplexity-User | nutzerausgelöster Abruf | ignoriert robots.txt-Regeln in der Regel |
| Anthropic | ClaudeBot | Inhalte für das Training | befolgt robots.txt |
| Anthropic | Claude-User | Abruf bei Nutzeranfragen | Deaktivierung kann Sichtbarkeit bei nutzergesteuerten Suchen verringern |
| Anthropic | Claude-SearchBot | Verbesserung der Suchergebnisse | Deaktivierung kann Sichtbarkeit in Suchergebnissen verringern |
Änderungen an der robots.txt können laut OpenAI und Perplexity bis zu etwa 24 Stunden brauchen. Anthropic rät von IP-Blockierungen ab.
Arbeitsmodell für Marken (Empfehlung)
- Eine öffentliche Seite mit überprüfbaren Produktangaben pflegen (Name, Spezifikation, Preise, Stand).
- Die Angaben auf allen eigenen Kanälen identisch halten.
- Prüfen, ob die Suchbots in der robots.txt erlaubt sind.
- Fehler in Drittquellen dokumentieren und bei den Betreibern melden.
Diese Schritte sind Empfehlungen. Eine Wirkung auf die Nennung der Marke ist nicht belegt.
Nicht belegt
Dieser Bericht beschreibt ein Arbeitsmodell des Autors. Für die einzelnen Schritte gibt es keine Primärquelle von Google, OpenAI, Perplexity oder Anthropic; sie sind als Empfehlung zu lesen, nicht als belegte Wirkung. Die Bot-Tabelle gibt nur die Angaben der Anbieter wieder; wie die Bots die Auswahl von Quellen in Antworten beeinflussen, ist nicht belegt.
Quellen
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401v4) (Primärquelle)
- OpenAI: Overview of OpenAI crawlers (Primärquelle)
- Perplexity Docs: Crawlers (Primärquelle)
- Anthropic Support: Does Anthropic crawl data from the web? (Primärquelle)
Stand der Prüfung: 24. Oktober 2026.
QuestionsFragen
Can I control RAG directly?Kann ich RAG direkt steuern?
No. You can only influence what is on your own and third-party sources and whether the bots may fetch your pages.
Nein. Beeinflussen lässt sich nur, was auf eigenen und fremden Quellen steht und ob die Bots Ihre Seiten abrufen dürfen.
Which bots exist?Welche Bots gibt es?
Documented are OAI-SearchBot, GPTBot and ChatGPT-User (OpenAI), PerplexityBot and Perplexity-User (Perplexity) and ClaudeBot, Claude-User and Claude-SearchBot (Anthropic).
Dokumentiert sind OAI-SearchBot, GPTBot und ChatGPT-User (OpenAI), PerplexityBot und Perplexity-User (Perplexity) sowie ClaudeBot, Claude-User und Claude-SearchBot (Anthropic).
Does blocking GPTBot prevent ChatGPT search?Verhindert ein Ausschluss von GPTBot die Suche in ChatGPT?
No. According to OpenAI the setting is independent of OAI-SearchBot.
Nein. Laut OpenAI ist die Einstellung unabhängig von OAI-SearchBot.
Is paid advertising enough?Reicht bezahlte Werbung?
There is no evidence for this.
Dafür liegt kein Beleg vor.
Are brands with a fact sheet named more often?Werden Marken mit einem Fact Sheet häufiger genannt?
That is not verified.
Das ist nicht belegt.