GPTBot: Der Trainings-Crawler von OpenAI und wie du ihn steuerst
6 Min. LesezeitStand: 27. Oktober 2026Geprüft von Engin Buldak
Definition in 40 Wörtern
GPTBot ist der Web-Crawler von OpenAI, der Inhalte für das Training der generativen KI-Modelle hinter ChatGPT sammelt. Über die robots.txt legst du fest, ob GPTBot deine Website besuchen darf. Für die Sichtbarkeit in der ChatGPT-Suche ist ein anderer Crawler zuständig: OAI-SearchBot.
Engin Buldak
Geschäftsführer der DTILE GmbH, Autor des SEO-Lexikons
15 Minuten • Persönlich • Unverbindlich
5,0 aus 50+ Google-Rezensionen
Was ist GPTBot?
GPTBot ist ein automatischer Crawler, also ein Programm, das Websites selbstständig aufruft und ihre Inhalte liest. OpenAI setzt ihn ein, um Inhalte zu sammeln, die für das Training seiner generativen Foundation-Modelle, der Basismodelle hinter ChatGPT, genutzt werden können. Seine Besuche steuerst du über die robots.txt deiner Website.
Laut OpenAI soll GPTBot die Modelle nützlicher und sicherer machen. Sperrt eine Website GPTBot, signalisiert sie damit, dass ihre Inhalte nicht für das Training dieser Modelle verwendet werden sollen. Wie Crawler grundsätzlich arbeiten und welche anderen Bots deine Website besuchen, erklärt der eigene Lexikon-Eintrag.
Wichtig für die Einordnung: GPTBot ist nur einer von mehreren Crawlern, die OpenAI betreibt. Jeder hat einen eigenen Zweck und eine eigene Kennung, und jeder lässt sich unabhängig von den anderen erlauben oder sperren.
Welche Crawler nutzt OpenAI neben GPTBot?
OpenAI nennt in seiner Dokumentation 4 Kennungen: GPTBot für das Modelltraining, OAI-SearchBot für die Suche in ChatGPT, ChatGPT-User für Seitenaufrufe, die Nutzer selbst auslösen, und OAI-AdsBot für die Prüfung von Werbe-Landingpages. Für deine Sichtbarkeit in ChatGPT ist vor allem OAI-SearchBot entscheidend.
| Kennung | Zweck | Folge einer Sperre |
|---|---|---|
| GPTBot | Sammelt Inhalte, die für das Training der KI-Modelle genutzt werden können | Inhalte sollen nicht ins Training einfließen |
| OAI-SearchBot | Zeigt Websites in den Suchfunktionen von ChatGPT | Keine Anzeige in Suchantworten, Navigationslinks bleiben möglich |
| ChatGPT-User | Ruft Seiten auf, wenn Nutzer in ChatGPT oder Custom GPTs danach fragen | robots.txt greift hier laut OpenAI möglicherweise nicht |
| OAI-AdsBot | Prüft Landingpages, die als Anzeige in ChatGPT eingereicht wurden | Besucht nur eingereichte Anzeigenseiten, kein Training |
ChatGPT-User durchsucht das Web laut OpenAI nicht automatisch und entscheidet auch nicht darüber, ob Inhalte in der Suche erscheinen. Für Opt-outs aus der Suche verweist OpenAI ausdrücklich auf OAI-SearchBot. OAI-AdsBot betrifft nur Unternehmen, die Anzeigen in ChatGPT schalten, wie es der Ratgeber ChatGPT-Werbung erklärt.
Wie erkennst du GPTBot in deinen Server-Logs?
Du erkennst GPTBot am User-Agent, der Kennung, die jeder Besucher an den Server übermittelt. Er enthält die Angabe GPTBot mit Versionsnummer und den Link openai.com/gptbot. Zusätzlich veröffentlicht OpenAI die IP-Adressbereiche des Crawlers, mit denen du echte Besuche von Fälschungen unterscheiden kannst.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotDie Versionsnummer kann sich laut OpenAI ändern. Ruft GPTBot die robots.txt ab, kann im User-Agent zusätzlich der Vermerk robots.txt stehen. Das hilft, diese Abrufe in Logdateien ohne Pfadangabe von normalen Seitenaufrufen zu unterscheiden.
Kennung allein reicht nicht
Jedes Programm kann sich als GPTBot ausgeben. Wer sicher sein will, gleicht die IP-Adresse eines Besuchs mit der Liste ab, die OpenAI unter openai.com/gptbot.json veröffentlicht. Für OAI-SearchBot gibt es die Liste openai.com/searchbot.json, für ChatGPT-User openai.com/chatgpt-user.json.
Wie sperrst oder erlaubst du GPTBot in der robots.txt?
In der robots.txt sprichst du GPTBot mit der Zeile User-agent: GPTBot an und legst darunter mit Disallow oder Allow fest, was er darf. Weil jeder OpenAI-Crawler einzeln gesteuert wird, kannst du GPTBot sperren und OAI-SearchBot gleichzeitig erlauben. Beide Regeln stehen dann untereinander in derselben Datei.
# Training sperren, ChatGPT-Suche erlauben
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Willst du nur einzelne Bereiche schützen, etwa einen Kundenbereich oder interne Dokumente, sperrst du gezielt diese Verzeichnisse und lässt den Rest offen:
User-agent: GPTBot
Disallow: /kundenbereich/
Disallow: /intern/Die Grundregeln der Datei, ihren Aufbau und typische Fehler erklärt der Eintrag robots.txt. Für die Suche nennt OpenAI eine Verzögerung: Nach einer Änderung der robots.txt kann es rund 24 Stunden dauern, bis die Systeme sie berücksichtigen.
Verschwindet deine Website aus ChatGPT, wenn du GPTBot sperrst?
Nein. Eine Sperre von GPTBot betrifft laut OpenAI nur die Frage, ob deine Inhalte für das Training der Modelle genutzt werden sollen. Ob deine Website in den Suchantworten von ChatGPT erscheint, steuert OAI-SearchBot. Sperrst du beide, fehlt deine Website in den Suchantworten von ChatGPT.
GPTBot sperren
- Signal an OpenAI: Inhalte nicht für das Training nutzen
- Suchantworten in ChatGPT bleiben möglich, solange OAI-SearchBot erlaubt ist
- Sinnvoll für Inhalte, die nicht in Trainingsdaten landen sollen
OAI-SearchBot sperren
- Keine Anzeige in den Suchantworten von ChatGPT
- Nur noch Navigationslinks möglich
- Kostet Sichtbarkeit bei Kunden, die über ChatGPT nach Anbietern suchen
Erlaubst du beide Crawler, nutzt OpenAI laut eigener Dokumentation unter Umständen einen einzigen Abruf für beide Zwecke, um doppeltes Crawlen zu vermeiden. Wie Antworten in ChatGPT, Perplexity und Google zustande kommen, erklärt der Eintrag KI-Suche.
Kostenfrei von der DTILE GmbH
Sichtbar in ChatGPT, Perplexity und Google
Die DTILE GmbH prüft, welche Crawler deine Website erreichen und ob KI-Systeme dein Unternehmen nennen. Die kostenlose Potenzialanalyse zeigt in 15 Minuten, wo du in KI-Antworten heute stehst.
Solltest du GPTBot als Unternehmen sperren?
Das hängt davon ab, was dir wichtiger ist. Willst du verhindern, dass deine Texte in Trainingsdaten einfließen, sperrst du GPTBot. Für lokale Unternehmen und Dienstleister, die gefunden werden wollen, ist die wichtigere Regel eine andere: OAI-SearchBot immer erlauben, damit ChatGPT deine Website in Suchantworten nennen kann.
Suche immer offen
OAI-SearchBot erlauben. Er entscheidet darüber, ob ChatGPT deine Website in Suchantworten zeigt.
Training bewusst entscheiden
GPTBot nach eigener Abwägung erlauben oder sperren. Sensible Bereiche lassen sich auch einzeln ausschließen.
Regelmäßig prüfen
Nach jedem Relaunch die robots.txt kontrollieren. Pauschale Sperren aus Vorlagen treffen oft auch die Such-Crawler.
Ein gesperrter Crawler ist nur eine Voraussetzung. Ob ChatGPT dein Unternehmen tatsächlich empfiehlt, hängt von zitierfähigen Inhalten, einheitlichen Firmendaten und Erwähnungen auf anderen Websites ab. Alle Hebel dafür erklärt der Ratgeber GEO SEO, die Umsetzung beschreibt die Seite GEO-Agentur.
Häufige Fragen zu GPTBot
Verwandte Begriffe
Crawler
Ein Crawler ist ein Programm, das Websites automatisch besucht, ihre Inhalte lädt und Links folgt. Suchmaschinen wie Google nutzen Crawler wie den Googlebot, um Seiten zu entdecken und für den Index zu erfassen. Auch KI-Systeme setzen eigene Crawler ein.
robots.txt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen. Sie steuert ausschließlich das Crawling und wirkt als Empfehlung: Seriöse Bots halten sich daran, verpflichtet sind sie nicht.
KI-Suche
KI-Suche bezeichnet Suchsysteme, die Antworten mit künstlicher Intelligenz formulieren statt Linklisten zu zeigen: ChatGPT, Perplexity, Google AI Overviews und der AI Mode. Sie beziehen ihre Inhalte aus Suchindizes und dem Web und zitieren Quellen, denen sie vertrauen.
Indexierung
Indexierung ist die Aufnahme einer Webseite in die Datenbank einer Suchmaschine, den Index. Nach dem Crawling entscheidet die Suchmaschine anhand von Qualität und Einzigartigkeit, ob eine Seite aufgenommen wird. Nur indexierte Seiten können in Suchergebnissen und KI-Antworten erscheinen.
AI Mode
Der Google AI Mode, auf Deutsch KI-Modus, ist die dialogbasierte Ansicht der Google-Suche: Statt einer Trefferliste erzeugt Googles Gemini-Modell eine zusammenhängende Antwort mit Quellenangaben, die sich im Gespräch weiter verfeinern lässt. In Deutschland ist er seit Oktober 2025 verfügbar.
Direkter Draht
Unser Hauptquartier in Hamburg
Im Herzen von Uhlenhorst. Komm vorbei, ruf an oder schreib uns, wir freuen uns auf dich.
Hier wird eine Karte von Google Maps angezeigt. Dafür brauchen wir deine Zustimmung zu externen Medien.
Direkter Draht
Lieber persönlich? Schreib oder ruf an.
Wir antworten meist innerhalb weniger Stunden. Unverbindlich & kostenlos.
Vollständig sichtbar: in Google, Google Maps und KI-Suchmaschinen
Local SEO, SEO und GEO aus einer Hand. Start mit der kostenlosen Potenzialanalyse.
Wir glauben, dass gefunden werden sollte, wer die beste Arbeit macht. Nicht, wer das größte Werbebudget hat.
Google Partner · Stormsweg 5A, 22085 Hamburg · 5,0 aus 50+ Google-Rezensionen · flexible Laufzeit ab 6 Monaten, danach monatlich kündbar
Geschäftsführer DTILE GmbH · Local SEO & GEO Experte
Über 3.500* Unternehmen in 20 Jahren geholfen, inhabergeführt aus Hamburg-Uhlenhorst. Sein Ansatz verbindet lokale Sichtbarkeit in allen relevanten Karten-Welten mit Zitierungen in KI-Antwortsystemen, von Google und Apple Maps bis zu Siri, ChatGPT und Copilot. Fachbeiträge erscheinen in seiner LinkedIn-Serie SIP, Search in Public.
Wir glauben, dass gefunden werden sollte, wer die beste Arbeit macht. Nicht, wer das größte Werbebudget hat.
* Gezählt sind alle Unternehmen, denen wir geholfen haben, auch mit einer kostenlosen Potenzialanalyse oder Beratung: über 3.500 in über 20 Jahren Marketing-Praxis von Engin Buldak.