Zurück zu den kostenlosen Tools

Kostenloses Tool

robots.txt-Tester

Prüfe, ob GPTBot, ClaudeBot oder Googlebot eine Seite erreichen können.

Was dieses Tool macht

Um in der KI-Suche gefunden zu werden, erlaube OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) und Googlebot (Google, einschließlich AI Overviews). GPTBot und Google-Extended betreffen das Training, nicht die Suchergebnisse.

Prüft, ob die wichtigsten Such- und KI-Crawler laut deiner robots.txt eine Seite deiner Website erreichen können: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Googlebot, Google-Extended und Bingbot.

Wenn ein Crawler blockiert ist, kann dich das Produkt dahinter weder finden noch zitieren. Das Tool zeigt die gelesene robots.txt, welche Crawler erlaubt oder blockiert sind, und bei Bedarf einen Vorschlag zur Korrektur.

Häufige Fragen

Welche Crawler sollte ich für die KI-Suche erlauben?

Für die ChatGPT-Suche erlaube OAI-SearchBot, für Claude Claude-SearchBot, für Perplexity PerplexityBot und für Google, einschließlich AI Overviews, Googlebot. GPTBot und Google-Extended betreffen das Training statt der Suchergebnisse.

Entfernt mich das Blockieren von Google-Extended aus den AI Overviews?

Nein. Google-Extended steuert manche Nutzungen deiner Inhalte für Gemini. AI Overviews greifen auf Seiten zurück, die Googlebot crawlt, also werden sie über Googlebot und deine Snippet-Einstellungen gesteuert.

Kann ein Crawler blockiert sein, obwohl die robots.txt ihn erlaubt?

Ja. Firewalls, Bot-Schutz und CDN-Regeln können Crawler blockieren, bevor die robots.txt überhaupt gelesen wird. Dieses Tool prüft nur die robots.txt. Wenn ein Crawler hier erlaubt ist, dich aber trotzdem nicht erreicht, prüf auch diese Punkte.

Ist es kostenlos, und speichert ihr etwas?

Ja, es ist kostenlos. Wir speichern weder die Seite noch das Ergebnis. Wir rufen die angegebene Adresse ab, prüfen sie und zeigen dir, was wir gefunden haben. Wir protokollieren, dass das Tool gelaufen ist (wann, und deine IP-Adresse zum Schutz vor Missbrauch).

Werde jetzt in KI, Google und Reddit gefunden

  • 15 Artikel pro Monat, optimiert für Zitate in KI und Suche
  • Backlinks auf Autopilot von anderen Mitgliedern
  • Reddit-Monitoring in Echtzeit mit Antwortentwürfen für Traffic und KI-Erwähnungen
  • Wöchentliche Tiefen-Audits deiner Website mit vollständigem Zeugnis, über die Zeit verfolgt
  • Alles darauf ausgelegt, KI-Erwähnungen und Such-Rankings zu maximieren

Zurück zu den kostenlosen Tools