Die meisten Firmen behandeln alle KI-Bots als eine einzige Sorte und treffen damit die falsche Entscheidung. Ein Crawler, der Ihre Seite ins Training zieht, ist etwas anderes als ein Bot, der Ihre Seite in dem Moment abruft, in dem ein Nutzer ChatGPT eine Frage stellt. Wer beide über einen Kamm schert, sperrt oft genau das aus, was ihn sichtbar machen würde.
Das ist der häufigste technische Einzelbefund, den wir sehen: eine robots.txt, die pauschal jeden KI-User-Agent verbietet, geschrieben in der Annahme, damit sei man auf der sicheren Seite. Ist man nicht. Dieser Artikel sortiert, welcher Bot was tut, und zeigt, wie Sie die Grenze bewusst ziehen.
Welche KI-Crawler besuchen meine Website?
Es sind vor allem fünf Betreiber: OpenAI, Anthropic, Perplexity, Google und ByteDance. Jeder von ihnen betreibt mehrere Bots mit unterschiedlichen Aufgaben, und genau diese Unterscheidung entscheidet über Ihre Sichtbarkeit.
Ein Bot sammelt Text für das Training künftiger Modelle. Ein anderer indexiert Seiten für die KI-Suche. Ein dritter ruft eine Seite live ab, weil ein Nutzer gerade eine Frage gestellt hat, deren Antwort im Netz steht. Diese drei Aufgaben laufen unter verschiedenen Namen, und in der robots.txt können Sie jeden Namen einzeln ansprechen.
Training oder Abruf: der Unterschied, der über Sichtbarkeit entscheidet
Training heißt: Ihre Inhalte fließen in das Modell ein und tauchen später vielleicht als beiläufige Nennung ohne Quelle auf. Abruf heißt: das Modell liest Ihre Seite im Moment der Frage und kann sie mit Link zitieren.
Diese beiden Fälle hängen an verschiedenen Bots. Sperren Sie das Training, verschwinden Sie nicht aus den Antworten, solange die Abruf-Bots weiter dürfen. Sperren Sie alles, nehmen Sie sich die Chance auf die Zitierung, also auf die Stufe, bei der ein Nutzer Ihre Quelle mit Link vor Augen hat. Nennung, Zitierung und Empfehlung sind drei verschiedene Dinge, und der Abruf-Bot ist die Voraussetzung für die mittlere.
Was macht welcher Bot?
Hier die Zuordnung, geordnet nach Betreiber. Die Namen sind die Tokens, die Sie in der robots.txt hinter User-agent: schreiben.
- OpenAI:
GPTBotsammelt Trainingsdaten.OAI-SearchBotindexiert für die KI-Suche in ChatGPT.ChatGPT-Userruft eine Seite ab, wenn ein Nutzer ChatGPT das Surfen erlaubt. - Anthropic:
ClaudeBotist der Trainings-Crawler.Claude-SearchBotindexiert für die Suche.Claude-Userholt eine Seite auf direkte Nutzeranfrage. - Perplexity:
PerplexityBotindexiert,Perplexity-Userruft im Moment der Frage ab. - Google:
Google-Extendedsteuert nur, ob Ihre Inhalte für das Training von Gemini und die Vertex-KI genutzt werden. Es hat nichts mit der normalen Google-Suche zu tun, dafür ist weiterGooglebotzuständig. Ein Disallow fürGoogle-Extendedentfernt Sie also nicht aus den KI-Übersichten in der Suche, denn die laufen überGooglebot. - ByteDance:
Bytespidersammelt Daten für das Unternehmen hinter TikTok. Diesem Bot wird nachgesagt, robots.txt nicht immer zu respektieren, verlassen Sie sich bei ihm nicht allein auf die Sperre.
Die wichtige Beobachtung: Ein Disallow nur für GPTBot sperrt nicht OAI-SearchBot und nicht ChatGPT-User. Jeder Name braucht seine eigene Zeile.
robots.txt: Training sperren, Abruf erlauben
Wenn Ihr Ziel lautet "nicht ins Training, aber auffindbar bleiben", dann sperren Sie die Trainings-Bots und lassen die Abruf- und Such-Bots zu. So sieht das als Vorlage aus:
# Training der Modelle nicht erlauben
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Abruf zur Antwortzeit und KI-Suche erlauben
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /Wer umgekehrt alles zulassen und maximale Auffindbarkeit will, lässt die Trainingssperren weg. Wer alles dichtmachen will, setzt für jeden der genannten Namen ein Disallow: /. Wichtig ist, dass Sie die Entscheidung pro Aufgabe treffen und nicht pro Anbieter.
Der häufigste Fehler: alles pauschal sperren
Sehr viele Seiten sperren jeden KI-Bot, weil eine Vorlage aus dem Netz das so vorgab. Laut Cloudflare (August 2025) blockieren über 2,5 Millionen Websites das KI-Training vollständig, und ein guter Teil davon sperrt aus Versehen auch die Abruf-Bots gleich mit.
Das Ergebnis: Die Firma taucht in KI-Antworten mit Websuche nicht mehr als zitierte Quelle auf, obwohl sie das eigentlich wollte. Sie hat Training und Abruf verwechselt. Wer Trainingsschutz möchte, aber im Moment der Kundenfrage genannt und verlinkt werden will, muss die beiden Fälle trennen, sonst arbeitet die eigene robots.txt gegen das eigene Marketing.
Was robots.txt nicht leisten kann
robots.txt ist eine Bitte, kein Zaun. Seriöse Betreiber wie OpenAI und Anthropic halten sich daran, aber die Datei erzwingt nichts, und einzelne Crawler ignorieren sie.
Und selbst ein perfekt gesetzter Allow garantiert keine Zitierung. Er ist die Voraussetzung dafür, mehr nicht. Ob ein Modell Sie am Ende nennt, zitiert oder empfiehlt, hängt an vielen weiteren Faktoren: an der Struktur Ihrer Seite, an fremden Quellen über Sie, an der Frage des Nutzers. Die robots.txt räumt das erste Hindernis aus dem Weg. Für den Rest braucht es Inhalte, die ein Modell überhaupt zitieren mag.
Vom Crawler-Setup zur gemessenen Sichtbarkeit
Die robots.txt richtig zu setzen, ist der günstigste Hebel überhaupt, und trotzdem nur der Anfang. Ob die Umstellung wirkt, sehen Sie erst, wenn Sie messen, wie oft die großen KI-Systeme Sie vorher und nachher nennen und zitieren.
Wie eine solche Messung methodisch sauber aufgebaut ist, beschreiben wir auf unserer Seite zur KI-Sichtbarkeit. Bevor Sie an der robots.txt drehen, lohnt sich ein Blick auf den Selbsttest, mit dem Sie in einer Viertelstunde einschätzen, ob überhaupt ein Problem vorliegt.
Wenn Sie wissen wollen, welche Bots Ihre Seite heute besuchen und was Ihre robots.txt gerade wirklich zulässt, schreiben Sie uns über die Kontaktseite. Wir schauen uns Ihre Datei und Ihre Logfiles an und sagen Ihnen, wo Sie sich selbst im Weg stehen.