Seit KI-Systeme Webseiten lesen, um Fragen zu beantworten, taucht in Gesprächen mit Betrieben immer wieder dieselbe Frage auf: Soll ich diese Crawler aussperren oder hereinlassen? Dieser Beitrag richtet sich an Inhaber und Verantwortliche, die eine Firmenwebsite betreiben und verstehen wollen, was die Datei robots.txt dabei leistet, welche Crawler es gibt und welche Einstellung zu welchem Ziel passt.
Was ist die robots.txt und was kann sie?
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis Ihrer Domain, die Crawlern mitteilt, welche Adressen sie abrufen dürfen. Crawler sind Programme, die Webseiten automatisch lesen, zum Beispiel für Suchmaschinen. Die Datei muss unter /robots.txt erreichbar sein, also etwa ihre-firma.de/robots.txt, und gilt nur für genau diese Domain. Eine Subdomain braucht eine eigene Datei.
Aufgebaut ist sie aus Gruppen: Eine Zeile User-agent nennt den Crawler, darunter stehen Allow oder Disallow mit dem Pfad. Passt keine Gruppe zu einem Crawler, gilt die Gruppe mit User-agent: *. Gibt es auch die nicht, sind alle Seiten abrufbar.
Wichtig ist, was die Datei nicht ist. Laut Google dient sie vor allem dazu, die eigene Website nicht mit Anfragen zu überlasten, und ist kein Mittel, um eine Seite aus Google herauszuhalten. Dafür nennt Google noindex oder einen Passwortschutz. Der Standard RFC 9309 formuliert es noch grundsätzlicher: Die Regeln sind keine Zugangskontrolle, und die Datei ersetzt keine echten Schutzmaßnahmen für Inhalte.
Welche KI-Crawler gibt es und wofür?
Die großen Anbieter trennen ihre Crawler nach Zweck. Es gibt Crawler für das Training von Modellen, solche für den Aufbau der KI-Suche und solche, die eine Seite abrufen, weil ein Nutzer gerade eine Frage gestellt hat. Wer sperren oder zulassen will, sollte diese drei Zwecke auseinanderhalten.
| Anbieter | Crawler (User-agent) | Zweck laut Anbieter |
|---|---|---|
| OpenAI | OAI-SearchBot | Anzeige von Websites in den Suchfunktionen von ChatGPT |
| OpenAI | GPTBot | Inhalte, die für das Training von Modellen genutzt werden können |
| OpenAI | ChatGPT-User | Abrufe bei bestimmten Nutzeraktionen in ChatGPT |
| Anthropic | ClaudeBot | Sammeln von Webinhalten, die zum Training beitragen können |
| Anthropic | Claude-SearchBot | Verbesserung der Suchergebnisse |
| Anthropic | Claude-User | Abrufe, wenn Nutzer Claude eine Frage stellen |
| Perplexity | PerplexityBot | Anzeigen und Verlinken von Websites in Perplexity-Suchergebnissen, nicht für das Training von Basismodellen |
| Perplexity | Perplexity-User | Abrufe bei Nutzeranfragen in Perplexity |
| Google-Extended | Steuerung, ob Inhalte für Gemini-Training und Grounding genutzt werden dürfen |
Die Namen und Zwecke stammen aus den Dokumentationen der Anbieter und ändern sich gelegentlich. Prüfen Sie die Angaben deshalb vor einer Änderung noch einmal an der Quelle, die unten verlinkt ist.
Was passiert, wenn Sie das Training sperren?
Wer das Training sperrt, bittet die Anbieter, die eigenen Inhalte nicht für künftige Modelle zu verwenden. Das ist eine Entscheidung über Ihre Inhalte und nicht über Ihre Auffindbarkeit. OpenAI beschreibt GPTBot und OAI-SearchBot ausdrücklich als voneinander unabhängige Einstellungen: Man kann OAI-SearchBot zulassen, um in der Suche zu erscheinen, und GPTBot sperren, damit Inhalte nicht für das Training genutzt werden. Bei Anthropic gilt das Muster ebenso, dort trennen ClaudeBot und Claude-SearchBot Training und Suche.
Für Google gilt dasselbe Prinzip über das Token Google-Extended. Es hat laut Google keinen Einfluss darauf, ob Ihre Seite in der Google Suche erscheint, und ist kein Rankingsignal.
Anthropic spricht bei ClaudeBot ausdrücklich davon, dass künftige Materialien einer gesperrten Website aus den Trainingsdaten ausgeschlossen werden. Eine Sperre betrifft also das, was danach abgerufen wird. Ob sich ein Betreiber daran hält, können Sie technisch nicht erzwingen, mehr dazu weiter unten.
Was passiert, wenn Sie die KI-Suche sperren?
Wer die Such-Crawler sperrt, wird in den KI-Suchfunktionen dieser Anbieter nicht mehr als Quelle angezeigt. OpenAI schreibt dazu, dass Websites, die OAI-SearchBot ausgeschlossen haben, nicht in den Suchantworten von ChatGPT erscheinen, höchstens noch als reiner Navigationslink. Auch Anthropic weist darauf hin, dass das Sperren von Claude-SearchBot oder Claude-User die Sichtbarkeit in Suchantworten mindern kann. Änderungen an der robots.txt greifen nicht sofort: OpenAI nennt für die Suche rund 24 Stunden.
Für einen Betrieb, der gefunden werden will, ist das selten gewollt. Ein Handwerker, eine Praxis oder ein Dienstleister möchte in einer Antwort auf die Frage „Wer macht bei mir in der Nähe X?“ vorkommen. Dafür müssen die Such-Crawler die Seite lesen dürfen. Eine Garantie, tatsächlich genannt zu werden, folgt daraus nicht. Welche Quellen ein System auswählt, legen die Anbieter nicht offen.
Was gilt für die KI-Übersichten von Google?
Die KI-Funktionen in der Google Suche, also AI Overviews und AI Mode, lassen sich nicht über ein eigenes Crawler-Token steuern. Google schreibt, dass KI fest in die Suche eingebaut ist und deshalb der Googlebot das Steuerelement für den Zugriff ist. Zusätzlich lässt sich mit nosnippet, data-nosnippet, max-snippet und noindex begrenzen, was aus einer Seite angezeigt wird.
Wer in diesen Übersichten als Quelle verlinkt werden möchte, muss laut Google keine besonderen technischen Anforderungen erfüllen. Die Seite muss indexiert und mit einem Snippet in der Suche anzeigbar sein. Das heißt im Umkehrschluss: Ein nosnippet oder noindex auf einer wichtigen Seite nimmt sie aus dieser Möglichkeit heraus. Die Grundlagen, die dazu führen, dass Google Ihren Betrieb versteht, sind dieselben wie bei der klassischen Suche, zum Beispiel ein vollständiges Google Unternehmensprofil und eine saubere Website.
Drei Einstellungen für die robots.txt
Welche Einstellung passt, hängt davon ab, was Sie erreichen wollen. Die drei häufigsten Varianten sehen so aus.
Alles zulassen
Das ist der Normalfall, wenn Sie gefunden und zitiert werden möchten und gegen Training nichts einzuwenden haben. Eine robots.txt kann dann sehr kurz sein:
User-agent: *
Allow: /
Sitemap: https://ihre-firma.de/sitemap.xml
Suche zulassen, Training sperren
Diese Variante passt, wenn Sie sichtbar sein, aber Ihre Inhalte nicht für Modelle bereitstellen wollen. Die Such- und Nutzer-Crawler bleiben unberührt, die Trainings-Crawler werden gesperrt:
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://ihre-firma.de/sitemap.xml
Bestimmte Bereiche ausnehmen
Wenn nur einzelne Verzeichnisse, etwa ein interner Bereich oder Testseiten, nicht gelesen werden sollen, sperren Sie diese Pfade für alle:
User-agent: *
Disallow: /intern/
Disallow: /test/
Bedenken Sie dabei, dass die Pfade danach für jeden sichtbar in der Datei stehen. Echte Vertraulichkeit erreichen Sie damit nicht.
Was die robots.txt nicht leistet
Die robots.txt ist eine Bitte, keine Absperrung. Der Standard beschreibt sie ausdrücklich als Anweisungen, die Crawler beachten sollen, und nicht als Zugangskontrolle. Seriöse Anbieter halten sich daran, durchsetzen lässt es sich nicht.
- Nutzergesteuerte Abrufe: OpenAI weist darauf hin, dass für ChatGPT-User die Regeln der robots.txt möglicherweise nicht gelten, weil ein Nutzer die Aktion auslöst.
- IP-Sperren statt robots.txt: Anthropic warnt, dass das Blockieren von IP-Adressen den Opt-out nicht verlässlich sichert, weil der Crawler dann die robots.txt nicht mehr lesen kann.
- Fremde Kopien: Was Dritte von Ihrer Seite kopiert und anderswo veröffentlicht haben, erreicht Ihre Datei nicht.
- Schon verarbeitete Inhalte: Nach den Angaben von Anthropic betrifft eine Sperre künftige Materialien, nicht Inhalte, die bereits abgerufen wurden.
Soll etwas wirklich nicht öffentlich sein, schützen Sie es mit Passwort oder Anmeldung.
So gehen Sie vor
- Ziel festlegen. Entscheiden Sie, ob Sie in KI-Antworten vorkommen wollen und ob Ihre Inhalte für Training genutzt werden dürfen. Beides sind getrennte Fragen.
- Aktuelle Datei ansehen. Rufen Sie
ihre-firma.de/robots.txtim Browser auf. Bei Baukästen oder Content-Management-Systemen lässt sich die Datei oft nur über eine Einstellungsseite ändern. - Regeln anpassen. Ergänzen Sie die Gruppen für die gewünschten Crawler anhand der Tabelle oben und lassen Sie die Such-Crawler zu, wenn Sie gefunden werden möchten.
- Erreichbarkeit prüfen. Die Datei muss unter
/robots.txtohne Fehler und mit dem Format UTF-8 ausgeliefert werden. Ein Tippfehler im Namen des Crawlers macht die Regel wirkungslos. - Wichtige Seiten kontrollieren. Prüfen Sie, dass Startseite, Leistungen und Kontakt weder per
noindexnoch pernosnippetausgeschlossen sind. - Nach einigen Wochen erneut prüfen. Anbieter ergänzen Crawler und ändern Namen. Die Dokumentationen der Anbieter sind die verlässlichste Quelle.
PJE Systems lässt auf der eigenen Website alle hier genannten Crawler ausdrücklich zu, damit die Inhalte von Suchsystemen gelesen und zitiert werden können. Welche Variante für Ihren Betrieb passt, ist eine Abwägung zwischen Reichweite und Kontrolle über Ihre Inhalte.
Nächster Schritt
Öffnen Sie die robots.txt Ihrer Website und prüfen Sie, ob dort Regeln stehen, die Sie nicht kennen. Das kommt vor, wenn ein früherer Dienstleister oder ein Plugin sie gesetzt hat. Wenn Sie die Datei im Zuge einer neuen Website oder eines Relaunchs sauber aufsetzen möchten, finden Sie das Angebot auf der Seite Websites, die Festpreise auf der Seite Preise. Wie ein solches Projekt abläuft, beschreibt der Beitrag Website erstellen lassen: Ablauf, Dauer, Vorbereitung. Für Fragen genügt eine kurze Nachricht über die Seite Kontakt.
