ReportsBerichte / AEO
Visibility in Perplexity, ChatGPT and ClaudeSichtbarkeit in Perplexity, ChatGPT und Claude
According to their documentation, OpenAI, Perplexity and Anthropic separate crawlers for training, search and user-initiated fetches. For appearing in search features, OpenAI recommends allowing OAI-SearchBot and Perplexity recommends allowing PerplexityBot. User-initiated fetches do not always follow robots.txt.
OpenAI, Perplexity und Anthropic trennen laut ihrer Dokumentation Crawler für Training, Suche und nutzerausgelöste Abrufe. Für die Anzeige in Suchfunktionen empfehlen OpenAI OAI-SearchBot und Perplexity PerplexityBot zuzulassen. Nutzerausgelöste Abrufe folgen robots.txt nicht immer.
Perplexity and ChatGPT are not classic search engines—they are citation engines. Your content must be citable.
Perplexity und ChatGPT sind keine Suchmaschinen im klassischen Sinn – sie sind Zitations-Engines. Ihr Content muss zitierfähig sein.
- OpenAIOpenAI
- GPTBot (training), OAI-SearchBot (search), ChatGPT-UserGPTBot (Training), OAI-SearchBot (Suche), ChatGPT-User
- PerplexityPerplexity
- PerplexityBot (search), Perplexity-UserPerplexityBot (Suche), Perplexity-User
- AnthropicAnthropic
- ClaudeBot, Claude-User, Claude-SearchBotClaudeBot, Claude-User, Claude-SearchBot
Crawlers at a glance
| Provider | Bot | Purpose per provider | robots.txt |
|---|---|---|---|
| OpenAI | GPTBot | Content that may be used to train foundation models | Disallow signals: do not use for training |
| OpenAI | OAI-SearchBot | Appearing in ChatGPT search features | Allowing recommended; takes about 24 h to adjust |
| OpenAI | ChatGPT-User | Fetch on user request | robots.txt rules may not apply |
| Perplexity | PerplexityBot | Show and link sites in Perplexity search results | Allowing recommended; not used for training |
| Perplexity | Perplexity-User | Fetch on user request | generally ignores robots.txt |
| Anthropic | ClaudeBot | Content that may contribute to training | Disallow possible |
| Anthropic | Claude-User / Claude-SearchBot | Fetch on user request / improving search quality | Disabling via robots.txt possible |
What blocking does
OpenAI: Blocking OAI-SearchBot keeps a site out of ChatGPT search answers, though it can still appear as a navigational link; the bot settings are independent of each other. Anthropic: disabling Claude-User or Claude-SearchBot prevents retrieval or indexing for search. Anthropic advises against blocking IP addresses because the bots must read robots.txt.
Not verified
The bot pages change; the status is 24 October 2026.
Sources
- OpenAI: Overview of OpenAI crawlers (primary source)
- Perplexity Docs: Crawlers (primary source)
- Anthropic Support: Does Anthropic crawl data from the web? (primary source)
Checked on: 24 October 2026.
Crawler im Überblick
| Anbieter | Bot | Zweck laut Anbieter | robots.txt |
|---|---|---|---|
| OpenAI | GPTBot | Inhalte, die für das Training von Basismodellen genutzt werden können | Disallow signalisiert: nicht für Training verwenden |
| OpenAI | OAI-SearchBot | Anzeige in ChatGPT-Suchfunktionen | Zulassen empfohlen; Anpassung dauert ca. 24 h |
| OpenAI | ChatGPT-User | Abruf auf Nutzeranfrage | robots.txt-Regeln gelten möglicherweise nicht |
| Perplexity | PerplexityBot | Seiten in Perplexity-Suchergebnissen anzeigen und verlinken | Zulassen empfohlen; nicht für Training |
| Perplexity | Perplexity-User | Abruf auf Nutzeranfrage | ignoriert robots.txt in der Regel |
| Anthropic | ClaudeBot | Inhalte, die zum Training beitragen können | Disallow möglich |
| Anthropic | Claude-User / Claude-SearchBot | Abruf auf Nutzeranfrage / Verbesserung der Suchqualität | Deaktivierung per robots.txt möglich |
Was Blockieren bewirkt
OpenAI: Wer OAI-SearchBot sperrt, erscheint nicht in ChatGPT-Suchantworten, kann aber als Navigationslink auftauchen; die Einstellungen der Bots sind voneinander unabhängig. Anthropic: Wer Claude-User oder Claude-SearchBot deaktiviert, verhindert Abruf bzw. Indexierung für die Suche. Anthropic nennt das Sperren von IP-Adressen nicht empfehlenswert, weil die Bots robots.txt lesen müssen.
Nicht belegt
Die Bot-Seiten ändern sich; Stand ist der 24. Oktober 2026.
Quellen
- OpenAI: Overview of OpenAI crawlers (Primärquelle)
- Perplexity Docs: Crawlers (Primärquelle)
- Anthropic Support: Does Anthropic crawl data from the web? (Primärquelle)
Stand der Prüfung: 24. Oktober 2026.
QuestionsFragen
Should I block GPTBot?Soll ich GPTBot blockieren?
That is a training decision: according to OpenAI, Disallow signals that content should not be used to train foundation models. According to OpenAI, visibility in ChatGPT search depends on OAI-SearchBot.
Das ist eine Entscheidung zum Training: Laut OpenAI signalisiert Disallow, dass Inhalte nicht für Basismodell-Training genutzt werden sollen. Sichtbarkeit in der ChatGPT-Suche hängt laut OpenAI an OAI-SearchBot.
Does Perplexity respect robots.txt?Beachtet Perplexity robots.txt?
PerplexityBot yes (recommendation: allow). According to Perplexity, Perplexity-User generally ignores robots.txt because users trigger the fetch.
PerplexityBot ja (Empfehlung: zulassen). Perplexity-User ignoriert robots.txt laut Perplexity in der Regel, weil Nutzer den Abruf auslösen.
How many sources does Perplexity cite per answer?Wie viele Quellen zitiert Perplexity pro Antwort?
No verified figure is available.
Dazu liegt keine belegte Zahl vor.