Deux familles de robots visitent votre site, et les confondre coûte cher. Les uns collectent du contenu pour entraîner les modèles. Les autres vont chercher votre page quand un utilisateur pose une question — et citent votre lien dans la réponse.
Puis ajustez robot par robot.
Ajouté en fin de bloc.
Entraînement des modèles
Ces robots collectent du contenu pour entraîner les modèles. Les bloquer n'affecte ni votre référencement, ni votre présence dans les réponses.
Récupération et citation
Ces robots vont chercher votre page quand un utilisateur pose une question. Les bloquer vous retire des réponses des assistants, et des liens qu'elles contiennent.
Une case cochée signifie « bloquer ».
À ajouter dans votre robots.txt
Cochez les robots à bloquer.
Refuser l’entraînement n’est pas se cacher des assistants. Ce sont deux décisions distinctes, et les confondre coûte cher : beaucoup de sites bloquent tout, puis s’étonnent de n’être jamais cités dans ChatGPT ou Perplexity.
La distinction qui change tout
Bloquer GPTBot empêche que votre contenu serve à entraîner les modèles d’OpenAI. Bloquer OAI-SearchBot vous retire de ChatGPT Search. Ce sont deux robots différents, avec deux effets différents, et la plupart des sites bloquent les deux sans le savoir.
Robots d’entraînement : GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent, Amazonbot.
Robots de récupération et de citation : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
Deux cas particuliers
Google-Extended et Applebot-Extended ne sont pas des robots : ce sont des jetons d’opt-out. Aucun crawler ne porte ce nom. Ils existent uniquement pour vous permettre de refuser l’usage IA de votre contenu sans toucher à votre référencement classique. Les bloquer n’a donc aucun effet sur Google Search ni sur Applebot.
Les limites de ce fichier
- robots.txt est une convention, pas une barrière. Les crawlers respectueux s’y conforment. Rien n’empêche techniquement un autre de l’ignorer, et certains le font. Pour une protection réelle, il faut un blocage côté serveur, par user-agent ou par adresse IP.
- Le blocage ne s’applique qu’à l’avenir. Ce qui a déjà été collecté l’est. Aucune règle robots.txt ne retire un contenu d’un modèle déjà entraîné.
- Les noms de robots changent. Cette liste a été vérifiée en août 2026. Les fournisseurs en ajoutent et en renomment : à revoir deux fois par an.
- Un robot bloqué peut passer par un autre chemin. Si votre contenu est repris sur un site tiers non bloqué, il reste collectable.
