Test robots.txt : vérifie ce que Google et les IA peuvent explorer

Donne l’adresse d’une page ou colle ton fichier. L’outil lit ton robots.txt comme Google et te dit, robot par robot, si l’URL est autorisée et quelle ligne décide.

Où lire le robots.txt
Ce que l’outil vérifie
Les moteurs
Googlebot, Bingbot, Applebot
Les IA
GPTBot, ClaudeBot, PerplexityBot et les autres
Les erreurs
fautes, règles ignorées, site bloqué
Les sitemaps
ceux que le fichier déclare

Gratuit, sans inscription. Le fichier collé n’est envoyé nulle part ailleurs.

Comment Google lit un robots.txt

  • Un seul groupe par robot

    Un robot suit un seul groupe de règles : celui qui le nomme, sinon le groupe User-agent: *. Si plusieurs groupes le nomment, Google les fusionne. Un robot nommé ne lit donc jamais les règles de *, et c’est le piège le plus courant : une règle ajoutée pour tous ne vaut plus pour lui.

  • La règle la plus longue gagne

    Dans son groupe, Google garde la règle qui correspond au début de l’URL avec le chemin le plus long. À longueur égale, Allow l’emporte sur Disallow. L’ordre des lignes ne compte pas.

  • Deux jokers, et la casse

    * remplace n’importe quelle suite de caractères, $ marque la fin de l’URL. Les chemins sont sensibles à la casse : Disallow: /Blog/ ne bloque pas /blog/.

  • Le code HTTP compte autant que le contenu

    Un robots.txt qui répond en 404 autorise tout le site. Un 503, ou un serveur qui ne répond pas, suspend l’exploration de tout le site pendant 12 heures, puis Google s’appuie sur la dernière version qu’il a lue.

  • 500 Kio, pas un octet de plus

    Google lit les 500 premiers Kio du fichier et ignore la suite. Il ne lit pas non plus Crawl-delay, ni Noindex depuis 2019.

Bloquer les IA sans disparaître de leurs réponses

Les robots des IA ne font pas tous le même travail. Bloquer le mauvais peut te faire disparaître des réponses de ChatGPT ou de Claude, sans protéger tes textes pour autant.

  • Les robots d’entraînement

    GPTBot, ClaudeBot, CCBot ou Meta-ExternalAgent collectent des pages pour entraîner les modèles. Les bloquer garde tes textes hors des prochains modèles, sans rien changer à ta présence dans les réponses.

  • Les robots de recherche

    OAI-SearchBot, Claude-SearchBot et PerplexityBot indexent les pages que les IA citent quand elles cherchent sur le web. Les bloquer, c’est sortir de ces réponses.

  • Les robots à la demande

    ChatGPT-User, Claude-User ou Perplexity-User ouvrent une page quand quelqu’un le demande dans la conversation. Ils ne suivent pas toujours robots.txt : Perplexity l’ignore en général, OpenAI prévient que ses règles peuvent ne pas s’appliquer.

Pour refuser l’entraînement et rester dans les réponses, un groupe suffit :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /

Les autres robots, moteurs et IA de recherche, gardent leurs règles. Google-Extended n’explore rien : il dit seulement à Google si Gemini peut s’entraîner sur tes pages, et le bloquer ne change rien à ton classement dans Google.

Pour aller plus loin : les signaux qui font citer un site par les IA.

Les erreurs de robots.txt qui coûtent cher en SEO

  • Croire que Disallow retire une page de Google

    Disallow empêche Google de lire la page, pas de l’indexer : une page bloquée peut apparaître dans les résultats, sans description. Pour la retirer, laisse-la explorable et mets une balise meta robots noindex. Comprendre les blocages d’indexation.

  • Bloquer les CSS et les JavaScript

    Google affiche tes pages comme un navigateur. Sans leurs feuilles de style et leurs scripts, il voit une page cassée et la juge sur ce qu’il en reste. Rendre un site explorable et indexable.

  • Mettre en ligne le robots.txt du site de test

    Un Disallow: / oublié à la mise en ligne bloque tout le site, et le trafic tombe en quelques jours. L’outil le signale en tête de ses remarques.

  • Laisser le fichier en erreur

    Un robots.txt qui répond en 5xx arrête l’exploration de tout le site, même si les pages répondent. Vérifie son code après chaque changement d’hébergeur, de CDN ou de pare-feu.

  • Compter sur Crawl-delay pour ralentir Google

    Google ne lit pas cette ligne et règle seul son rythme. Les vraies solutions quand Google explore trop ton site.

  • Oublier le sitemap

    Une ligne Sitemap: avec l’adresse complète aide tous les moteurs à trouver tes pages, pas seulement ceux où tu as un compte. Vérifie-le ensuite avec le sitemap checker.

Tu veux savoir quels sites qui font un lien vers toi comptent vraiment ? Fais auditer ton profil de liens.

Questions fréquentes

Le test robots.txt est-il gratuit ?

Oui, sans inscription. Tu peux lire 30 fichiers en ligne par heure, et tester sans limite un fichier collé.

Disallow suffit-il à retirer une page de Google ?

Non. Disallow empêche Google de lire la page, pas de l’indexer : une page bloquée peut apparaître dans les résultats, sans description. Pour la retirer, laisse-la explorable et ajoute une balise meta robots noindex.

Comment bloquer ChatGPT sans disparaître de ses réponses ?

Bloque GPTBot, qui collecte pour l’entraînement, et laisse OAI-SearchBot, qui fait apparaître ton site dans la recherche de ChatGPT. Le même partage existe chez Anthropic (ClaudeBot et Claude-SearchBot).

Pourquoi Google n’explore plus mon site alors que mon robots.txt est correct ?

Regarde le code HTTP du fichier. S’il répond en erreur (5xx) ou trop lentement, Google suspend l’exploration de tout le site pendant 12 heures, puis s’appuie sur la dernière version qu’il a lue.

Google lit-il Crawl-delay ?

Non, Google l’ignore et règle seul son rythme. Bing et Claude le lisent.

Est-ce que mes tests sont enregistrés ?

Non. Le fichier lu ou collé n’est gardé nulle part. On garde seulement le nombre total de tests faits avec l’outil.

Autres outils gratuits

  • Backlink checker

    Vérifie qu'un lien vers ton site est en place, et s'il transmet quelque chose.

  • Whois

    Trouve qui a enregistré un nom de domaine, chez quel registrar et jusqu'à quand.

  • Sitemap checker

    Teste un sitemap XML et récupère la liste de toutes ses URL.

  • Compteur de mots

    Compte les mots, les caractères et les signes d'un texte, et repère les mots que tu répètes.

  • Compresser une image

    Allège tes images JPG, PNG et WebP, convertis-les ou redimensionne-les, sans les envoyer nulle part.

  • DNS checker

    Lis les enregistrements DNS d'un domaine à la source et vérifie leur propagation.