Lexikon · Crawler

SEO-Grundlagen

Crawler: Wie Suchmaschinen-Bots deine Website lesen

⏱ 6 Min. Lesezeit📅 Stand: 11. August 2026✓ Geprüft von Engin Buldak

Definition in 40 Wörtern

Ein Crawler ist ein Programm, das Websites automatisch besucht, ihre Inhalte lädt und Links folgt. Suchmaschinen wie Google nutzen Crawler wie den Googlebot, um Seiten zu entdecken und für den Index zu erfassen. Auch KI-Systeme setzen eigene Crawler ein.

Was ist ein Crawler?

Ein Crawler ist ein automatisches Programm, das das Web systematisch durchsucht: Es ruft Seiten auf, liest deren Inhalte und folgt den Links zu weiteren Seiten. Andere Namen für dasselbe Prinzip sind Webcrawler, Bot, Spider oder Robot.

Crawler sind der erste Schritt jeder Sichtbarkeit in Suchmaschinen. Der Weg in die Suchergebnisse führt immer über drei Stufen: Crawling (die Seite wird abgerufen), Indexierung (die Seite wird in die Datenbank aufgenommen) und Ranking (die Seite wird in der SERP platziert). Was kein Crawler liest, kann nicht ranken.

Der bekannteste Crawler ist der Googlebot. Er besucht täglich Milliarden von Seiten und arbeitet Smartphone-first: Bewertet wird die mobile Version deiner Website, nicht die Desktop-Ansicht.

Wie funktioniert ein Crawler?

Ein Crawler startet mit einer Liste bekannter URLs, ruft jede Seite ab, speichert den Inhalt und sammelt alle gefundenen Links als neue Aufgaben ein. So arbeitet er sich Link für Link durch das Web. Gefundene Seiten übergibt er an die Indexierungssysteme der Suchmaschine.

Entdecken: Der Crawler erhält URLs aus drei Quellen: bereits bekannte Seiten, Links auf anderen Websites und eingereichte XML-Sitemaps.

Abrufen: Er lädt den HTML-Code der Seite. Der Googlebot rendert zusätzlich JavaScript, um Inhalte zu sehen, die erst im Browser entstehen.

Links sammeln: Alle internen und externen Links der Seite wandern in die Warteschlange. Deine interne Verlinkung entscheidet damit direkt, was gefunden wird.

Übergeben: Der Inhalt geht an die Indexierung. Erst dort entscheidet die Suchmaschine, ob und wofür die Seite in den Index aufgenommen wird.

Wie oft ein Crawler zurückkommt, hängt von der Bedeutung und Aktualität einer Website ab. Bei großen Websites mit tausenden URLs wird die verfügbare Crawl-Kapazität zur knappen Ressource, dann beginnt die Arbeit an der Crawl-Budget-Optimierung.

Welche Crawler sind 2026 wichtig?

Neben den klassischen Suchmaschinen-Crawlern Googlebot und Bingbot besuchen heute vor allem KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot deine Website, dazu Tool-Crawler wie der AhrefsBot. Jeder erfüllt einen anderen Zweck, und jeder entscheidet über eine andere Art von Sichtbarkeit.

🔍

Googlebot

Der Crawler der Google-Suche, unterwegs als Smartphone-Variante. Er bestimmt, was in Suche, Discover und AI Overviews auftauchen kann.

🟦

Bingbot

Der Microsoft-Crawler. Seine Daten speisen nicht nur Bing, sondern auch Copilot und Teile der ChatGPT-Suche, mehr dazu im Ratgeber Bing Places.

🤖

GPTBot und OAI-SearchBot

Die OpenAI-Crawler: GPTBot sammelt Trainingsdaten, der OAI-SearchBot versorgt die ChatGPT-Suche mit aktuellen Inhalten. Wer beide blockt, existiert für ChatGPT nicht.

✳️

ClaudeBot und PerplexityBot

Die Crawler von Anthropic und Perplexity. Sie entscheiden, ob deine Inhalte in den Antworten dieser KI-Systeme als Quelle auftauchen können.

📊

Tool-Crawler wie AhrefsBot

SEO-Tools crawlen das Web für Backlink- und Ranking-Daten. Wer sie aussperrt, macht die eigene Website für Analysen unsichtbar, auch für die eigenen.

Aus unserer eigenen Praxis: Bei DTILE blockierte eine Firewall-Einstellung monatelang unbemerkt SEO- und KI-Crawler. Externe Tools sahen nur einen Bruchteil der tatsächlichen Rankings, KI-Suchsysteme konnten die Inhalte nicht lesen. Nach der Freigabe füllte sich das Bild innerhalb weniger Wochen. Die Lehre: Crawler-Zugang gehört in jeden technischen Check.

Wie steuerst du Crawler auf deiner Website?

Crawler steuerst du über vier Ebenen: die robots.txt für grundsätzliche Zugriffs-Regeln, Meta-Robots-Angaben auf Seitenebene, eine XML-Sitemap als Wegweiser und deine interne Verlinkung als Prioritätensignal. Firewall und CDN dürfen dabei keine erwünschten Bots aussperren.

robots.txt pflegen: Die Textdatei im Hauptverzeichnis sagt Crawlern, welche Bereiche sie besuchen dürfen. Seriöse Bots halten sich daran, eine Garantie ist es nicht.

Meta-Robots gezielt einsetzen: Ein noindex auf Seitenebene hält eine Seite aus dem Index, obwohl sie gecrawlt werden darf. Wichtig: Crawling und Indexierung sind zwei getrennte Entscheidungen.

Sitemap einreichen: Die XML-Sitemap in der Google Search Console beschleunigt das Entdecken neuer und geänderter Seiten.

Firewall prüfen: Sicherheitsdienste wie Cloudflare blocken Bots teils pauschal. Prüfe die Ausnahmen für Googlebot, Bingbot und die KI-Crawler, sonst sperrst du deine Sichtbarkeit selbst aus.

Warum sind KI-Crawler für deine Sichtbarkeit entscheidend?

KI-Systeme wie ChatGPT, Perplexity und Google AI Overviews können nur empfehlen, was ihre Crawler gelesen haben. Wer KI-Crawler blockt, verschwindet aus den KI-Antworten, und genau dort informieren sich 2026 immer mehr Kunden vor einer Kaufentscheidung.

Dabei lohnt ein differenzierter Blick: Trainings-Crawler wie GPTBot sammeln Daten für Modelltraining, Such-Crawler wie der OAI-SearchBot holen aktuelle Inhalte für konkrete Nutzerfragen. Für die Sichtbarkeit deines Unternehmens sind vor allem die Such-Crawler entscheidend. Inhalte so aufzubereiten, dass diese Systeme sie zitieren, ist Aufgabe der Generativen Engine Optimization (GEO).

Welche Begriffe gehören zum Crawler dazu?

Crawl-Budget robots.txt Indexierung SERP GEO (Generative Engine Optimization) Onpage SEO SEO-Audit

Häufige Fragen zum Crawler

Was ist der Unterschied zwischen Crawler, Bot und Spider?

Crawler, Spider und Robot bezeichnen dasselbe: ein Programm, das Websites automatisch abruft und Links folgt. Bot ist der Oberbegriff für jedes automatische Programm im Web, dazu zählen auch Chat- oder Spam-Bots ohne Crawling-Funktion.

Wie oft crawlt Google eine Website?

Das reicht von mehrmals täglich bis zu einigen Wochen Abstand. Entscheidend sind Aktualität, Verlinkung und technische Qualität der Website. Die Crawling-Statistiken in der Google Search Console zeigen dir die echten Zahlen für deine Domain.

Wie erkennst du, ob ein Crawler deine Seite besucht?

In den Server-Logfiles deines Hostings, in den Crawling-Statistiken der Google Search Console und in den Bot-Übersichten von CDN-Diensten wie Cloudflare. Echte Googlebots lassen sich zusätzlich über eine DNS-Prüfung von Fälschungen unterscheiden.

Kannst du Crawler komplett aussperren?

Ja, über robots.txt und Firewall-Regeln. Seriöse Crawler respektieren die robots.txt freiwillig, aggressive Bots müssen serverseitig geblockt werden. Bedenke die Folge: Wer alle Crawler aussperrt, ist in Suche und KI-Antworten unsichtbar.

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling ist das Abrufen einer Seite, Indexierung die Aufnahme in die Datenbank der Suchmaschine. Eine gecrawlte Seite ist nicht automatisch indexiert: Google entscheidet nach dem Crawling separat, ob die Seite in den Index kommt.

Engin Buldak

Geschäftsführer DTILE GmbH · Local SEO und GEO

Engin Buldak betreut mit der DTILE GmbH aus Hamburg über 220 Unternehmen im DACH-Raum bei Local SEO, SEO und der Sichtbarkeit in KI-Antwortsystemen.

Lesbar für Google, zitierbar für KI

DTILE sorgt dafür, dass Crawler deine Website vollständig erfassen und deine Inhalte dort auftauchen, wo Kunden suchen und fragen.

Unverbindliche Beratung

Crawler einfach erklärt: Definition, Funktion und Steuerung