Gratis tool
robots.txt-tester
Check of GPTBot, ClaudeBot of Googlebot een pagina kunnen bereiken.
Wat deze tool doet
Om gevonden te worden door AI-zoekmachines, sta je OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity) en Googlebot (Google, inclusief AI Overviews) toe. GPTBot en Google-Extended gaan over training, niet over zoekresultaten.
Checkt of de belangrijkste zoek- en AI-crawlers volgens je robots.txt een pagina op je site kunnen bereiken: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Googlebot, Google-Extended en Bingbot.
Als een crawler geblokkeerd is, kan het product erachter je niet vinden of citeren. De tool toont de robots.txt die hij las, welke crawlers toegestaan of geblokkeerd zijn, en waar nodig een voorgestelde oplossing.
Veelgestelde vragen
- Welke crawlers moet ik toestaan voor AI-zoekmachines?
Om in ChatGPT-zoeken te verschijnen, sta je OAI-SearchBot toe; voor Claude Claude-SearchBot; voor Perplexity PerplexityBot; en voor Google, inclusief AI Overviews, Googlebot. GPTBot en Google-Extended gaan over training in plaats van zoekresultaten.
- Verdwijn ik uit AI Overviews als ik Google-Extended blokkeer?
Nee. Google-Extended regelt sommige toepassingen van je content voor Gemini. AI Overviews putten uit pagina's die Googlebot crawlt, dus die worden geregeld door Googlebot en je snippetinstellingen.
- Kan een crawler geblokkeerd zijn terwijl robots.txt hem toestaat?
Ja. Firewalls, botbescherming en CDN-regels kunnen crawlers blokkeren voordat robots.txt überhaupt gelezen wordt. Deze tool checkt alleen robots.txt, dus als een crawler hier toegestaan is maar je toch niet bereikt, check die dan ook.
- Is het gratis, en slaan jullie iets op?
Ja, het is gratis. We slaan de pagina en het resultaat niet op. We halen het adres op dat je opgeeft, checken het en laten zien wat we vonden. We houden bij dat de tool is gebruikt (wanneer, en je IP-adres om misbruik te voorkomen).
Word gevonden in AI, Google en Reddit
- 15 artikelen per maand geoptimaliseerd voor citaties door AI en zoekmachines
- Backlinks op de automatische piloot van andere leden
- Realtime Reddit-monitoring met conceptreacties voor verkeer en AI-vermeldingen
- Wekelijkse diepe site-audits met een volledig rapport, gevolgd door de tijd
- Alles gebouwd om AI-vermeldingen en zoekposities te maximaliseren

