ReportsBerichte / AEO
JavaScript and crawlers: content in the first HTMLJavaScript und Crawler: Inhalte im ersten HTML
Googlebot executes JavaScript in a second step with headless Chromium and indexes the rendered HTML. Google recommends server-side or pre-rendering because not all bots can run JavaScript. For the crawlers of OpenAI, Perplexity and Anthropic, the documentation read contains no statement on rendering.
Googlebot führt JavaScript in einem zweiten Schritt mit headless Chromium aus und indexiert das gerenderte HTML. Google empfiehlt Server-Side- oder Pre-Rendering, weil nicht alle Bots JavaScript ausführen können. Für die Crawler von OpenAI, Perplexity und Anthropic enthält die gelesene Dokumentation keine Aussage zum Rendering.
- GoogleGoogle
- renders with headless Chromiumrendert mit headless Chromium
- Google recommendationEmpfehlung Google
- server-side or pre-renderingServer-Side- oder Pre-Rendering
- Other AI crawlersAndere KI-Crawler
- rendering not documentedRendering nicht dokumentiert
- noindexnoindex
- may cause rendering to be skippedkann Rendering überspringen lassen
What Google documents
- Three phases: crawling, rendering, indexing. Pages with status 200 enter the render queue unless noindex is set; rendering uses headless Chromium.
- Server-side or pre-rendering is recommended because it makes the site faster for users and crawlers and not all bots can run JavaScript.
- Implement links as
<a href>. Do not use fragments (#) to load different content; use the History API with real paths instead. - Soft 404 in client-side rendered apps: a JavaScript redirect to a URL that returns a 404 status, or a noindex set via JavaScript on the error page.
- If Google encounters noindex, it may skip rendering and JavaScript execution. Removing noindex via JavaScript may therefore not work.
- Content in web components must appear in the rendered HTML; check with the URL Inspection tool.
What is documented about other crawlers
The documentation of OpenAI, Perplexity and Anthropic names purpose and robots.txt behavior of their bots, but says nothing on whether they execute JavaScript. Bot names and behavior are in the report Brand retrieval and RAG.
Developer check (recommendation)
- View the page source (not the browser developer tools, which show the rendered DOM).
- Check: are the key statement, headings and links in the delivered HTML?
- If yes, legibility does not depend on rendering. This is the most cautious assumption and applies regardless of provider.
- For Google, additionally use the URL Inspection tool.
Frameworks and hydration
The sources read make no statement on Next.js (App Router), hydration or other frameworks. What matters is not the framework but whether the content is in the delivered HTML; the developer check can verify that.
Not verified
Whether the crawlers of OpenAI, Perplexity and Anthropic execute JavaScript is not stated in the documentation read. The developer check is the author's recommendation.
Sources
- Google Search Central: JavaScript SEO basics (primary source)
- OpenAI: Overview of OpenAI crawlers (primary source)
- Perplexity Docs: Crawlers (primary source)
- Anthropic Support: Does Anthropic crawl data from the web? (primary source)
Checked on: 24 October 2026.
Was Google dokumentiert
- Drei Phasen: Crawling, Rendering, Indexierung. Seiten mit Status 200 kommen in die Render-Warteschlange, sofern kein noindex gesetzt ist; gerendert wird mit headless Chromium.
- Server-Side- oder Pre-Rendering wird empfohlen, weil es die Website für Nutzer und Crawler schneller macht und nicht alle Bots JavaScript ausführen können.
- Links als
<a href>umsetzen. Fragmente (#) nicht nutzen, um unterschiedliche Inhalte zu laden; stattdessen die History API mit echten Pfaden. - Soft-404 in clientseitig gerenderten Apps: JavaScript-Weiterleitung auf eine URL mit 404-Status oder ein per JavaScript gesetztes noindex auf der Fehlerseite.
- Trifft Google auf ein noindex, kann es Rendering und JavaScript-Ausführung überspringen. Ein noindex per JavaScript zu entfernen, funktioniert deshalb möglicherweise nicht.
- Inhalte in Web Components müssen im gerenderten HTML erscheinen; Prüfung mit dem URL-Prüftool.
Was zu anderen Crawlern dokumentiert ist
Die Dokumentationen von OpenAI, Perplexity und Anthropic nennen Zweck und robots.txt-Verhalten ihrer Bots, aber keine Aussage dazu, ob diese JavaScript ausführen. Die Bot-Namen und ihr Verhalten stehen im Bericht Brand Retrieval und RAG.
Entwickler-Check (Empfehlung)
- Quelltext der Seite ansehen (nicht die Entwicklerwerkzeuge des Browsers, die das gerenderte DOM zeigen).
- Prüfen: Stehen Kernaussage, Überschriften und Links im ausgelieferten HTML?
- Wenn ja, hängt die Lesbarkeit nicht vom Rendering ab. Das ist die vorsichtigste Annahme und gilt unabhängig vom Anbieter.
- Für Google zusätzlich das URL-Prüftool nutzen.
Frameworks und Hydration
Zu Next.js (App Router), Hydration oder anderen Frameworks enthalten die gelesenen Quellen keine Aussage. Entscheidend ist nicht das Framework, sondern ob der Inhalt im ausgelieferten HTML steht; das lässt sich mit dem Entwickler-Check prüfen.
Nicht belegt
Ob die Crawler von OpenAI, Perplexity und Anthropic JavaScript ausführen, ist in den gelesenen Dokumentationen nicht angegeben. Der Entwickler-Check ist eine Empfehlung des Autors.
Quellen
- Google Search Central: JavaScript SEO basics (Primärquelle)
- OpenAI: Overview of OpenAI crawlers (Primärquelle)
- Perplexity Docs: Crawlers (Primärquelle)
- Anthropic Support: Does Anthropic crawl data from the web? (Primärquelle)
Stand der Prüfung: 24. Oktober 2026.
QuestionsFragen
Is the Next.js App Router enough?Reicht Next.js App Router?
What matters is whether the content is in the delivered HTML. The sources read make no statement on Next.js; the result can be checked in the page source.
Entscheidend ist, ob der Inhalt im ausgelieferten HTML steht. Zu Next.js enthalten die gelesenen Quellen keine Aussage; das Ergebnis lässt sich im Quelltext prüfen.
Do GPTBot and PerplexityBot render JavaScript?Rendern GPTBot und PerplexityBot JavaScript?
The documentation read makes no statement on this.
Dazu enthalten die gelesenen Dokumentationen keine Aussage.
Does hydration help crawlers?Hilft Hydration Crawlern?
The sources read make no statement on this. Check whether the key statement, headings and links are already in the delivered HTML.
Dazu enthalten die gelesenen Quellen keine Aussage. Prüfen Sie, ob Kernaussage, Überschriften und Links schon im ausgelieferten HTML stehen.
Can I remove noindex via JavaScript?Kann ich noindex per JavaScript entfernen?
Possibly not: Google may skip rendering when it sees noindex. A page meant to be indexed should not contain noindex in the original code.
Möglicherweise nicht: Google kann bei noindex das Rendering überspringen. Eine zu indexierende Seite sollte im ursprünglichen Code kein noindex enthalten.
How do I avoid soft 404s in a single-page app?Wie vermeide ich Soft-404 in einer Single-Page-App?
Redirect via JavaScript to a URL that returns a 404 status, or set a noindex via JavaScript on the error page.
Per JavaScript auf eine URL mit 404-Status weiterleiten oder auf der Fehlerseite ein noindex per JavaScript setzen.