Robots.txt IA : le nouveau standard anti-entraînement en 2026

Le 30 octobre 2026, Anthropic, OpenAI, Google et Microsoft ont annoncé leur soutien à un nouveau standard robots.txt permettant à tout site web de refuser, en une seule ligne, que son contenu serve à entraîner leurs modèles d'IA. Pour une PME qui publie un blog, des fiches produit ou des études de cas, cette annonce change concrètement la manière de protéger son contenu, à condition d'en comprendre les limites.

En bref

• Le 30 octobre 2026, Anthropic, OpenAI, Google et Microsoft soutiennent un jeton robots.txt partagé, nommé __usage_ai-training, pour exprimer un refus d'entraînement IA (source : brouillon IETF draft-kelley-aipref-training-preference-signal, rédigé par Kevin Kelley, Anthropic).
• Ce jeton s'ajoute au fichier robots.txt existant, sans nouvelle syntaxe : il suit les règles du protocole d'exclusion des robots (RFC 9309).
• Le déploiement est progressif : Anthropic dit avoir commencé à l'appliquer, OpenAI promet une mise en œuvre « dans les prochains mois », Microsoft vise le 1er février 2027, Google vise 2027.
• Chez Google, ce refus équivaut à désactiver Google-Extended, ce qui coupe aussi l'ancrage (« grounding ») des réponses de Gemini sur votre site.
• Le jeton ne s'applique ni rétroactivement aux données déjà collectées, ni aux robots qui ignorent le robots.txt : c'est une déclaration d'intention, pas un blindage technique.

Que s'est-il passé le 30 octobre 2026 ?

Jusqu'à présent, un site qui voulait refuser l'entraînement de telle ou telle IA devait bloquer, un par un, les robots spécifiques de chaque fournisseur : GPTBot pour OpenAI, Google-Extended pour Google, ClaudeBot pour Anthropic, et ainsi de suite. Pour une PME, cela veut dire surveiller une liste qui s'allonge à chaque nouveau lancement de modèle, et refaire cette liste à chaque fois.

Anthropic a proposé une solution plus simple : un jeton unique, intégré au robots.txt, que les quatre grands fournisseurs s'engagent à respecter de la même façon. La proposition a été déposée à l'IETF (l'organisme qui normalise les protocoles d'Internet) sous la forme d'un brouillon individuel, draft-kelley-aipref-training-preference-signal. Ce document n'a, à ce stade, aucun statut de norme officielle : il expire en mai 2027 s'il n'est pas renouvelé, et doit encore passer par un travail de normalisation plus large au sein du groupe AIPREF de l'IETF.

Comment fonctionne le nouveau jeton

Techniquement, rien ne change dans la structure du fichier robots.txt. Le jeton __usage_ai-training s'utilise comme un nom de robot classique, dans une ligne User-Agent. Exemple donné dans le brouillon officiel :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ici, le site refuse l'entraînement IA sur tout son contenu, sauf le dossier /press-kit/. Un point important : une règle générique User-Agent: * ne compte pas comme une préférence anti-entraînement. Il faut nommer explicitement le jeton pour que le signal soit pris en compte.

Calendrier de déploiement par fournisseur

Ancien système vs nouveau standard

Pourquoi c'est pertinent pour une PME

La plupart des dirigeants de PME francophones ne publient pas un article par souci de visibilité IA, mais ont un blog, des fiches produit, ou des études de cas clients rédigées à la main et qui représentent un investissement réel. Deux cas d'usage concrets :

1. Protéger un savoir-faire éditorial. Un cabinet de conseil qui publie des analyses sectorielles détaillées peut vouloir que ce contenu reste un avantage concurrentiel, sans nourrir gratuitement les modèles de ses concurrents utilisateurs des mêmes IA.
2. Garder le contrôle sur des données clients publiées. Des témoignages clients ou des études de cas contenant des chiffres sensibles méritent une politique explicite, même si la plupart des PME choisiront de laisser leur contenu marketing ouvert pour rester visibles dans les réponses génératives.

Plan d'action pour mettre en place le jeton

Tableau récapitulatif

FAQ

Le jeton __usage_ai-training bloque-t-il aussi l'indexation Google ?

Non. Il n'affecte que l'entraînement des modèles d'IA. Il ne modifie pas l'exploration classique ni l'indexation par les moteurs de recherche traditionnels, sauf chez Google où il coupe spécifiquement l'ancrage de Gemini sur les pages concernées.

Faut-il que ma PME l'active dès maintenant ?

Pas nécessairement. Si votre contenu marketing a intérêt à être cité par les IA génératives, mieux vaut le laisser accessible. Réservez le jeton aux contenus à forte valeur que vous ne voulez pas voir repris gratuitement par des concurrents équipés des mêmes outils IA.

Ce standard est-il déjà une norme officielle ?

Non. Il s'agit d'un brouillon individuel soumis à l'IETF (draft-kelley-aipref-training-preference-signal), sans statut normatif formel à ce jour. Les quatre fournisseurs se sont engagés à le respecter, mais le calendrier d'application varie de l'un à l'autre jusqu'en 2027.

Que se passe-t-il pour le contenu déjà utilisé par les IA avant cette annonce ?

Le jeton n'a aucun effet rétroactif. Il n'efface pas les données déjà intégrées dans des jeux d'entraînement existants ou dans des modèles déjà publiés.

Conclusion

Ce nouveau standard robots.txt simplifie un geste qui, jusqu'ici, demandait de suivre quatre listes de robots différentes. Pour une PME, l'enjeu n'est pas de tout bloquer par réflexe, mais de faire un choix éclairé entre visibilité dans les réponses IA et protection d'un contenu à forte valeur. Pour aller plus loin sur la place de l'IA générative dans votre stratégie de contenu, consultez nos ressources ou découvrez comment d'autres PME ont structuré leur usage de l'IA dans nos témoignages clients.