ReportsBerichte / SEO
Crawling and indexing: basicsCrawling und Indexierung: Grundlagen
robots.txt controls crawling, not indexing; use noindex or password protection for that. noindex works only if the page is crawlable. Sitemaps are a hint, canonical a strong signal without binding effect. Crawl budget mainly concerns very large sites.
robots.txt steuert das Crawling, nicht die Indexierung; dafür dienen noindex oder Passwortschutz. noindex wirkt nur, wenn die Seite crawlbar ist. Sitemaps sind ein Hinweis, Canonical ein starkes Signal ohne bindende Wirkung. Crawl-Budget betrifft vor allem sehr große Websites.
Technical SEO is unglamorous—but without working crawling there is no ranking and no AI visibility.
Technisches SEO ist unspektakulär – aber ohne funktionierendes Crawling gibt es kein Ranking und keine AI-Sichtbarkeit.
- robots.txtrobots.txt
- controls crawling, not indexingCrawling steuern, nicht Indexierung
- noindexnoindex
- works only on crawlable pages; meta tag or X-Robots-Tagwirkt nur bei crawlbarer Seite; Meta-Tag oder X-Robots-Tag
- Sitemap limitSitemap-Limit
- 50 MB or 50,000 URLs per file50 MB oder 50.000 URLs je Datei
- CanonicalCanonical
- strong signal, not a directivestarkes Signal, keine Anweisung
- Crawl budgetCrawl-Budget
- guide for very large sitesLeitfaden für sehr große Websites
What each tool does
| Tool | Does | Does not |
|---|---|---|
| robots.txt | Control crawler access to URLs, limit server load | Keep a page out of Google |
| noindex | Prevent indexing | — |
| Sitemap | Report URLs (XML, RSS/Atom, text) | Guarantee crawling |
| rel=canonical | Signal the preferred URL | Act as a directive |
robots.txt and noindex
- Google writes that robots.txt is not a mechanism for keeping a web page out of Google. If other pages link to a blocked URL with descriptive text, Google may still index the URL without visiting it.
- To exclude a page from the index Google names noindex or password protection. noindex is set via
<meta name="robots" content="noindex">or the HTTP headerX-Robots-Tag; the header suits PDFs, videos and images. - Prerequisite: the page must not be blocked by robots.txt, otherwise the crawler never sees the noindex rule and the page can still appear. Google does not support a noindex rule in robots.txt.
- Timing: Google has to recrawl the page to see the rule; depending on the page's importance this can take months. A recrawl can be requested via the URL Inspection tool.
Sitemap and canonical
A sitemap may contain at most 50 MB (uncompressed) or 50,000 URLs; larger ones are split. Google uses lastmod if the value is “consistently and verifiably” accurate. For canonical, Google lists in order of strength: redirect, rel=canonical link, rel=canonical HTTP header, sitemap.
Crawl budget
Google's guide targets sites with roughly one million pages and weekly changes, or roughly 10,000 pages with daily changes. According to Google, the numbers are rough estimates. Smaller sites generally do not need the guide.
Relation to other reports
This report covers crawling and indexing. Load time and user experience are in the report on Core Web Vitals, titles and snippets in the report on on-page SEO.
Not verified
The statement in the quote that without crawling there is no AI visibility is the author's assessment and is not verified in this report.
Sources
- Google Search Central: Introduction to robots.txt (primary source)
- Google Search Central: Block Search indexing with noindex (primary source)
- Google Search Central: Build and submit a sitemap (primary source)
- Google Search Central: Specify a canonical URL (primary source)
- Google Search Central: Crawl budget for large sites (primary source)
Checked on: 24 October 2026.
Was welches Mittel leistet
| Mittel | Leistet | Leistet nicht |
|---|---|---|
| robots.txt | Crawler-Zugriff auf URLs steuern, Serverlast begrenzen | Seite aus Google heraushalten |
| noindex | Indexierung verhindern | — |
| Sitemap | URLs melden (XML, RSS/Atom, Text) | Crawling garantieren |
| rel=canonical | bevorzugte URL signalisieren | als Anweisung wirken |
robots.txt und noindex
- Google schreibt, robots.txt sei „kein Mechanismus, um eine Webseite aus Google herauszuhalten“. Wenn andere Seiten mit beschreibendem Text auf eine blockierte URL verlinken, kann Google die URL trotzdem indexieren, ohne sie zu besuchen.
- Für den Ausschluss aus dem Index nennt Google noindex oder Passwortschutz. noindex wird per
<meta name="robots" content="noindex">oder per HTTP-HeaderX-Robots-Taggesetzt; der Header eignet sich besonders für PDFs, Videos und Bilder. - Voraussetzung: Die Seite darf nicht per robots.txt blockiert sein, sonst sieht der Crawler die noindex-Regel nie, und die Seite kann trotzdem erscheinen. Eine noindex-Regel in der robots.txt unterstützt Google nicht.
- Dauer: Google muss die Seite erneut crawlen, um die Regel zu sehen; das kann je nach Bedeutung der Seite Monate dauern. Ein erneutes Crawlen lässt sich über das URL-Prüftool beantragen.
Sitemap und Canonical
Eine Sitemap darf höchstens 50 MB (unkomprimiert) oder 50.000 URLs enthalten; größere werden aufgeteilt. Google nutzt lastmod, wenn der Wert „konsistent und überprüfbar“ stimmt. Für Canonical nennt Google als Reihenfolge der Stärke: Redirect, rel=canonical-Link, rel=canonical-HTTP-Header, Sitemap.
Crawl-Budget
Der Google-Leitfaden richtet sich an Websites ab etwa einer Million Seiten mit wöchentlichen Änderungen oder ab etwa 10.000 Seiten mit täglichen Änderungen. Die Zahlen sind laut Google grobe Schätzungen. Kleinere Websites brauchen den Leitfaden in der Regel nicht.
Abgrenzung zu anderen Berichten
Dieser Bericht behandelt Crawling und Indexierung. Ladezeit und Nutzererfahrung stehen im Bericht zu den Core Web Vitals, Titel und Snippets im Bericht zu Onpage-SEO.
Nicht belegt
Die Aussage im Zitat, ohne Crawling gebe es keine AI-Sichtbarkeit, ist die Einschätzung des Autors und in diesem Bericht nicht belegt.
Quellen
- Google Search Central: Introduction to robots.txt (Primärquelle)
- Google Search Central: Block Search indexing with noindex (Primärquelle)
- Google Search Central: Build and submit a sitemap (Primärquelle)
- Google Search Central: Specify a canonical URL (Primärquelle)
- Google Search Central: Crawl budget for large sites (Primärquelle)
Stand der Prüfung: 24. Oktober 2026.
QuestionsFragen
noindex or robots.txt?noindex oder robots.txt?
To keep a page out of the index, use noindex. robots.txt only blocks crawling; the URL can still be indexed.
Um eine Seite aus dem Index zu halten, noindex nutzen. robots.txt blockiert nur das Crawlen; die URL kann trotzdem indexiert werden.
Do I need to worry about crawl budget?Muss ich mich um Crawl-Budget kümmern?
Usually not. Google aimed the guide at very large or frequently updated sites; for small sites an up-to-date sitemap and checking the page indexing report is adequate.
Meist nicht. Google richtet den Leitfaden an sehr große oder sehr oft aktualisierte Websites; bei kleinen Websites genügt eine aktuelle Sitemap und die Kontrolle des Seitenindexierungsberichts.
Is rel=canonical binding?Ist rel=canonical verbindlich?
No, it is a strong signal but not a directive. Redirects are the stronger method.
Nein, es ist ein starkes Signal, aber keine Anweisung. Redirects gelten als stärkeres Mittel.
Why does my page still appear despite noindex?Warum erscheint meine Seite trotz noindex noch?
Either robots.txt blocks the page so the rule is never seen, or Google has not recrawled the page since the rule was added. That can take months.
Entweder blockiert robots.txt die Seite, sodass die Regel nie gesehen wird, oder Google hat die Seite seit dem Hinzufügen noch nicht erneut gecrawlt. Das kann Monate dauern.