Robots.txt IA: el nuevo estándar anti-entrenamiento en 2026

El 30 de octubre de 2026, Anthropic, OpenAI, Google y Microsoft anunciaron su respaldo a un nuevo estándar de robots.txt que permite a cualquier sitio web negarse, en una sola línea, a que su contenido se use para entrenar sus modelos de IA. Para una pyme que publica un blog, fichas de producto o casos de éxito, este anuncio cambia en la práctica la forma de proteger su contenido, siempre que se entiendan bien sus límites.

En resumen

• El 30 de octubre de 2026, Anthropic, OpenAI, Google y Microsoft respaldaron un token robots.txt compartido, llamado __usage_ai-training, para expresar una negativa al entrenamiento de IA (fuente: borrador IETF draft-kelley-aipref-training-preference-signal, redactado por Kevin Kelley, de Anthropic).
• El token se añade al archivo robots.txt existente, sin nueva sintaxis: sigue las reglas del protocolo de exclusión de robots (RFC 9309).
• El despliegue es progresivo: Anthropic dice haber empezado a respetarlo, OpenAI promete aplicarlo «en los próximos meses», Microsoft apunta al 1 de febrero de 2027 y Google apunta a 2027.
• En Google, esta negativa equivale a desactivar Google-Extended, lo que también corta el «grounding» (anclaje) de las respuestas de Gemini en tu sitio.
• El token no tiene efecto retroactivo sobre los datos ya recopilados, ni detiene a los rastreadores que ignoran el robots.txt: es una declaración de intención, no un blindaje técnico.

¿Qué pasó el 30 de octubre de 2026?

Hasta ahora, un sitio que quería negarse al entrenamiento de una u otra IA tenía que bloquear, uno por uno, el robot específico de cada proveedor: GPTBot para OpenAI, Google-Extended para Google, ClaudeBot para Anthropic, y así sucesivamente. Para una pyme, eso significa vigilar una lista que crece con cada nuevo lanzamiento de modelo, y rehacerla cada vez.

Anthropic propuso una solución más simple: un token único, integrado en el robots.txt, que los cuatro grandes proveedores se comprometen a respetar de la misma manera. La propuesta se presentó ante la IETF (el organismo que estandariza los protocolos de Internet) como un borrador individual, draft-kelley-aipref-training-preference-signal. Este documento no tiene, por ahora, ningún estatus de norma oficial: caduca en mayo de 2027 si no se renueva, y aún debe pasar por un trabajo de estandarización más amplio dentro del grupo AIPREF de la IETF.

Cómo funciona el nuevo token

Técnicamente, nada cambia en la estructura del archivo robots.txt. El token __usage_ai-training se usa como un nombre de robot clásico, en una línea User-Agent. Ejemplo dado en el borrador oficial:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Aquí, el sitio rechaza el entrenamiento de IA en todo su contenido, excepto en la carpeta /press-kit/. Un punto importante: una regla genérica User-Agent: * no cuenta como una preferencia anti-entrenamiento. Hay que nombrar explícitamente el token para que la señal se tenga en cuenta.

Calendario de despliegue por proveedor

Sistema anterior vs nuevo estándar

Por qué es relevante para una pyme

La mayoría de los directivos de pymes hispanohablantes no publican contenido por preocupación por su visibilidad en la IA, pero sí tienen un blog, fichas de producto o casos de éxito redactados a mano que representan una inversión real. Dos casos de uso concretos:

1. Proteger el know-how editorial. Una consultora que publica análisis sectoriales detallados puede querer que ese contenido siga siendo una ventaja competitiva, sin alimentar gratis los modelos que usan sus propios competidores.
2. Mantener el control sobre datos de clientes publicados. Testimonios de clientes o casos de éxito con cifras sensibles merecen una política explícita, aunque la mayoría de las pymes elegirá dejar su contenido de marketing abierto para seguir siendo visible en las respuestas generativas.

Plan de acción para implantar el token

Tabla resumen

Preguntas frecuentes

¿El token __usage_ai-training también bloquea la indexación de Google?

No. Solo afecta al entrenamiento de modelos de IA. No modifica el rastreo clásico ni la indexación de los buscadores tradicionales, salvo en Google, donde corta específicamente el anclaje de Gemini en las páginas afectadas.

¿Mi pyme debería activarlo ya mismo?

No necesariamente. Si a tu contenido de marketing le interesa ser citado por la IA generativa, es mejor dejarlo accesible. Reserva el token para contenido de alto valor que no quieres que recojan gratis competidores equipados con las mismas herramientas de IA.

¿Este estándar ya es una norma oficial?

No. Es un borrador individual presentado ante la IETF (draft-kelley-aipref-training-preference-signal), sin estatus normativo formal hasta la fecha. Los cuatro proveedores se han comprometido a respetarlo, pero el calendario de aplicación varía de uno a otro hasta 2027.

¿Qué pasa con el contenido que la IA ya usó antes de este anuncio?

El token no tiene ningún efecto retroactivo. No borra los datos ya incorporados en conjuntos de entrenamiento existentes ni en modelos ya publicados.

Conclusión

Este nuevo estándar de robots.txt simplifica un gesto que, hasta ahora, exigía seguir cuatro listas de robots distintas. Para una pyme, el reto no es bloquearlo todo por reflejo, sino tomar una decisión informada entre visibilidad en las respuestas de IA y protección del contenido de mayor valor. Para profundizar sobre el lugar de la IA generativa en tu estrategia de contenido, consulta nuestros recursos o descubre cómo otras pymes han organizado su uso de la IA en nuestros casos de éxito.