Test robots.txt : vérifie ce que Google et les IA peuvent explorer
Donne l’adresse d’une page ou colle ton fichier. L’outil lit ton robots.txt comme Google et te dit, robot par robot, si l’URL est autorisée et quelle ligne décide.
- Les moteurs
- Googlebot, Bingbot, Applebot
- Les IA
- GPTBot, ClaudeBot, PerplexityBot et les autres
- Les erreurs
- fautes, règles ignorées, site bloqué
- Les sitemaps
- ceux que le fichier déclare
Gratuit, sans inscription. Le fichier collé n’est envoyé nulle part ailleurs.
Comment Google lit un robots.txt
Un seul groupe par robot
Un robot suit un seul groupe de règles : celui qui le nomme, sinon le groupe
User-agent: *. Si plusieurs groupes le nomment, Google les fusionne. Un robot nommé ne lit donc jamais les règles de*, et c’est le piège le plus courant : une règle ajoutée pour tous ne vaut plus pour lui.La règle la plus longue gagne
Dans son groupe, Google garde la règle qui correspond au début de l’URL avec le chemin le plus long. À longueur égale,
Allowl’emporte surDisallow. L’ordre des lignes ne compte pas.Deux jokers, et la casse
*remplace n’importe quelle suite de caractères,$marque la fin de l’URL. Les chemins sont sensibles à la casse :Disallow: /Blog/ne bloque pas/blog/.Le code HTTP compte autant que le contenu
Un robots.txt qui répond en 404 autorise tout le site. Un 503, ou un serveur qui ne répond pas, suspend l’exploration de tout le site pendant 12 heures, puis Google s’appuie sur la dernière version qu’il a lue.
500 Kio, pas un octet de plus
Google lit les 500 premiers Kio du fichier et ignore la suite. Il ne lit pas non plus
Crawl-delay, niNoindexdepuis 2019.
Bloquer les IA sans disparaître de leurs réponses
Les robots des IA ne font pas tous le même travail. Bloquer le mauvais peut te faire disparaître des réponses de ChatGPT ou de Claude, sans protéger tes textes pour autant.
Les robots d’entraînement
GPTBot, ClaudeBot, CCBot ou Meta-ExternalAgent collectent des pages pour entraîner les modèles. Les bloquer garde tes textes hors des prochains modèles, sans rien changer à ta présence dans les réponses.
Les robots de recherche
OAI-SearchBot, Claude-SearchBot et PerplexityBot indexent les pages que les IA citent quand elles cherchent sur le web. Les bloquer, c’est sortir de ces réponses.
Les robots à la demande
ChatGPT-User, Claude-User ou Perplexity-User ouvrent une page quand quelqu’un le demande dans la conversation. Ils ne suivent pas toujours robots.txt : Perplexity l’ignore en général, OpenAI prévient que ses règles peuvent ne pas s’appliquer.
Pour refuser l’entraînement et rester dans les réponses, un groupe suffit :
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /Les autres robots, moteurs et IA de recherche, gardent leurs règles. Google-Extended n’explore rien : il dit seulement à Google si Gemini peut s’entraîner sur tes pages, et le bloquer ne change rien à ton classement dans Google.
Pour aller plus loin : les signaux qui font citer un site par les IA.
Les erreurs de robots.txt qui coûtent cher en SEO
Croire que Disallow retire une page de Google
Disallow empêche Google de lire la page, pas de l’indexer : une page bloquée peut apparaître dans les résultats, sans description. Pour la retirer, laisse-la explorable et mets une balise meta robots noindex. Comprendre les blocages d’indexation.
Bloquer les CSS et les JavaScript
Google affiche tes pages comme un navigateur. Sans leurs feuilles de style et leurs scripts, il voit une page cassée et la juge sur ce qu’il en reste. Rendre un site explorable et indexable.
Mettre en ligne le robots.txt du site de test
Un
Disallow: /oublié à la mise en ligne bloque tout le site, et le trafic tombe en quelques jours. L’outil le signale en tête de ses remarques.Laisser le fichier en erreur
Un robots.txt qui répond en 5xx arrête l’exploration de tout le site, même si les pages répondent. Vérifie son code après chaque changement d’hébergeur, de CDN ou de pare-feu.
Compter sur Crawl-delay pour ralentir Google
Google ne lit pas cette ligne et règle seul son rythme. Les vraies solutions quand Google explore trop ton site.
Oublier le sitemap
Une ligne
Sitemap:avec l’adresse complète aide tous les moteurs à trouver tes pages, pas seulement ceux où tu as un compte. Vérifie-le ensuite avec le sitemap checker.
Tu veux savoir quels sites qui font un lien vers toi comptent vraiment ? Fais auditer ton profil de liens.
Questions fréquentes
Le test robots.txt est-il gratuit ?
Oui, sans inscription. Tu peux lire 30 fichiers en ligne par heure, et tester sans limite un fichier collé.
Disallow suffit-il à retirer une page de Google ?
Non. Disallow empêche Google de lire la page, pas de l’indexer : une page bloquée peut apparaître dans les résultats, sans description. Pour la retirer, laisse-la explorable et ajoute une balise meta robots noindex.
Comment bloquer ChatGPT sans disparaître de ses réponses ?
Bloque GPTBot, qui collecte pour l’entraînement, et laisse OAI-SearchBot, qui fait apparaître ton site dans la recherche de ChatGPT. Le même partage existe chez Anthropic (ClaudeBot et Claude-SearchBot).
Pourquoi Google n’explore plus mon site alors que mon robots.txt est correct ?
Regarde le code HTTP du fichier. S’il répond en erreur (5xx) ou trop lentement, Google suspend l’exploration de tout le site pendant 12 heures, puis s’appuie sur la dernière version qu’il a lue.
Google lit-il Crawl-delay ?
Non, Google l’ignore et règle seul son rythme. Bing et Claude le lisent.
Est-ce que mes tests sont enregistrés ?
Non. Le fichier lu ou collé n’est gardé nulle part. On garde seulement le nombre total de tests faits avec l’outil.
Autres outils gratuits
Backlink checker
Vérifie qu'un lien vers ton site est en place, et s'il transmet quelque chose.
Whois
Trouve qui a enregistré un nom de domaine, chez quel registrar et jusqu'à quand.
Sitemap checker
Teste un sitemap XML et récupère la liste de toutes ses URL.
Compteur de mots
Compte les mots, les caractères et les signes d'un texte, et repère les mots que tu répètes.
Compresser une image
Allège tes images JPG, PNG et WebP, convertis-les ou redimensionne-les, sans les envoyer nulle part.
DNS checker
Lis les enregistrements DNS d'un domaine à la source et vérifie leur propagation.