Kurz gesagt: Für die Sichtbarkeit in KI-Suchen zählen die Such-Crawler: OAI-SearchBot für ChatGPT, PerplexityBot für Perplexity, Claude-SearchBot für Claude, Googlebot für Google samt KI-Übersicht und Bingbot für Bing und Microsoft Copilot. Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended oder Applebot-Extended entscheiden nur darüber, ob Inhalte für das Training von KI-Modellen genutzt werden dürfen. Beides lässt sich in der robots.txt getrennt steuern.
Drei Arten von KI-Crawlern
- Such-Crawler bauen den Index auf, aus dem eine KI-Suche ihre Antworten zusammenstellt. Wer sie sperrt, taucht in diesen Antworten nicht auf.
- Trainings-Crawler sammeln Inhalte für das Training künftiger Sprachmodelle. Sie zu sperren, hat laut den Anbietern keinen Einfluss auf die Suche.
- Abrufe auf Wunsch entstehen, wenn eine Person der KI ausdrücklich sagt, eine bestimmte Seite zu öffnen. Weil ein Mensch den Abruf auslöst, gelten die Regeln der robots.txt dafür laut OpenAI und Perplexity nicht in jedem Fall.
Die wichtigsten KI-Crawler im Überblick
| Anbieter | Token | Zweck | Für Sichtbarkeit nötig |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Suche in ChatGPT | ja |
| OpenAI | GPTBot | Training der Modelle | nein |
| OpenAI | ChatGPT-User | Abruf auf Wunsch einer Person | – |
| Perplexity | PerplexityBot | Suche in Perplexity, laut Perplexity kein Training | ja |
| Perplexity | Perplexity-User | Abruf auf Wunsch einer Person | – |
| Anthropic | Claude-SearchBot | Suche in Claude | ja |
| Anthropic | ClaudeBot | Training der Modelle | nein |
| Anthropic | Claude-User | Abruf auf Wunsch einer Person | – |
Googlebot | Google-Suche inklusive KI-Übersicht und AI Mode | ja | |
Google-Extended | Nutzung für Gemini-Modelle, kein Einfluss auf die Google-Suche | nein | |
| Microsoft | Bingbot | Bing und Microsoft Copilot | ja |
| Apple | Applebot | Suche in Siri und Spotlight | empfohlen |
| Apple | Applebot-Extended | Training für Apple Intelligence, crawlt selbst nicht | nein |
| Meta | meta-externalagent | Training von KI-Modellen | nein |
| Common Crawl | CCBot | Offenes Webarchiv, oft für KI-Training genutzt | nein |
Die Namen ändern sich gelegentlich. Verbindlich sind die Dokumentationen der Anbieter, etwa die Crawler-Übersicht von OpenAI und die von Perplexity.
Vorlage: Suche erlauben
Ohne Einträge sind alle Crawler erlaubt. Ausdrückliche Freigaben lohnen sich trotzdem, wenn Ihre robots.txt andere Sperren enthält, und sie dokumentieren die Absicht:
# KI-Suchen und Suchmaschinen: erlauben
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://ihre-website.at/sitemap.xmlVorlage: Training sperren, Suche erlauben
Wer seine Inhalte nicht für das Training von Sprachmodellen hergeben will, sperrt nur die Trainings-Crawler. Die Sichtbarkeit in den KI-Suchen bleibt erhalten:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: CCBot
Disallow: /Ob sich das lohnt, ist eine Abwägung. Wer nicht ins Training eingeht, ist auch im Grundwissen künftiger Modelle schwächer vertreten. Für die meisten kleinen und mittleren Unternehmen überwiegt der Nutzen, auffindbar zu sein.
Häufige Fehler
- Firewall oder CDN sperrt: Bot-Schutz von Hostern und CDNs blockiert KI-Crawler teils pauschal, manchmal schon in der Grundeinstellung. Die robots.txt sieht dann korrekt aus, die Crawler kommen trotzdem nicht durch.
- Sperre aus der Entwicklungsphase: Ein vergessenes
Disallow: /unterUser-agent: *sperrt alle Crawler, auch Google. - robots.txt nicht erreichbar: Antwortet der Server mit einem Fehler, verhalten sich Crawler vorsichtig und rufen weniger oder gar nicht ab.
- „noindex“ auf wichtigen Seiten: Die Seite darf gecrawlt, aber nicht angezeigt werden. Für KI-Suchen ist sie damit ebenfalls verloren.
So prüfen Sie Ihre Einstellungen
- Die Datei unter
ihre-website.at/robots.txtim Browser öffnen und nachDisallowsuchen. - Im robots.txt-Bericht der Google Search Console prüfen, ob Google die Datei fehlerfrei lesen kann.
- In den Server-Logs nach den Namen der Crawler suchen: Kommen OAI-SearchBot und PerplexityBot überhaupt an?
- Mit dem Sofort-Check automatisch prüfen lassen. Er meldet gesperrte KI-Crawler als eigenen Prüfpunkt.
Häufige Fragen
Soll ich GPTBot sperren?
Das ist eine Grundsatzentscheidung, keine Frage der Sichtbarkeit. GPTBot sammelt Inhalte für das Training künftiger Modelle. Für die Suchantworten von ChatGPT ist OAI-SearchBot zuständig, und der bleibt davon unberührt.
Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter erklären, dass ihre Such- und Trainings-Crawler die robots.txt beachten. Abrufe auf ausdrücklichen Wunsch einer Person sind teils ausgenommen. Unbekannte Scraper ignorieren die Datei, gegen sie helfen nur Firewall-Regeln.
Brauche ich für jeden Crawler einen eigenen Eintrag?
Nein. Ohne Eintrag ist ein Crawler erlaubt. Eigene Einträge brauchen Sie nur, wenn Sie bestimmte Crawler sperren wollen oder Ihre Datei andere Sperren enthält, die nicht für alle gelten sollen.
Schadet es meinem Google-Ranking, wenn ich Google-Extended sperre?
Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche oder das Ranking. Die KI-Übersicht nutzt den normalen Index von Googlebot.
