28 KI-Crawler, Suchmaschinen und SEO-Bots

Check Bot Access

Finden Sie heraus, ob ChatGPT, Claude, Perplexity, Google, Bing und andere Bots auf Ihre Website zugreifen können. Geben Sie eine URL ein, und das Tool prüft für jeden Bot die echten Serverantworten, robots.txt-Regeln und Robots-Meta-Tags.

Häufig gestellte Fragen

Was genau prüft das Tool?
Für jeden Bot sendet es eine echte Anfrage an Ihre URL mit dem User-Agent des Bots, liest den HTTP-Status, das Robots-Meta-Tag und den X-Robots-Tag-Header aus und wertet die robots.txt Ihrer Domain für diesen Bot aus. Das Ergebnis ist ein Urteil pro Bot: Erlaubt, Blockiert, Nicht überprüfbar oder Fehler.
Was bedeutet „Nicht überprüfbar“?
Der Server hat mit HTTP 403 oder 429 geantwortet. Firewalls und CDNs (z. B. Cloudflare) prüfen Bots oft anhand ihrer IP-Adresse, nicht nur anhand des User-Agents. Unsere Anfrage kommt von einer anderen IP, daher kann der Server uns blockieren und den echten Bot trotzdem durchlassen — oder umgekehrt. Prüfen Sie zur Sicherheit die Bot-Einstellungen Ihrer Firewall oder Ihres CDN.
Warum sollte es mich interessieren, ob KI-Bots auf meine Website zugreifen können?
KI-Assistenten wie ChatGPT, Claude oder Perplexity beantworten Fragen mit Inhalten, die sie crawlen oder live abrufen können. Blockiert Ihre Website ihre Crawler, wird sie in KI-Antworten seltener zitiert oder empfohlen. Andererseits können Sie Trainings-Crawler (z. B. GPTBot) bewusst blockieren und gleichzeitig Such- und nutzergesteuerte Bots zulassen.
Was ist der Unterschied zwischen Google-Extended und Googlebot?
Googlebot crawlt für die Google-Suche. Google-Extended ist kein eigener Crawler, sondern nur ein robots.txt-Token, das steuert, ob Ihre Inhalte für das Training von Gemini-Modellen verwendet werden dürfen. Deshalb gibt es dafür keine HTTP-Prüfung, nur ein robots.txt-Urteil. Dasselbe gilt für Applebot-Extended.
Speichern Sie die URLs, die ich prüfe?
Nein. Die Prüfung läuft in Echtzeit und die Ergebnisse werden nur in Ihrem Browser angezeigt. URLs und Ergebnisse speichern wir in keiner Datenbank. Für das Tageslimit von 10 Prüfungen zählen wir Anfragen nur bis Mitternacht anhand eines pseudonymisierten IP-Fingerabdrucks. Mehr in der Datenschutzerklärung.