OpenAI, Google y Microsoft anunciaron el 30 de octubre que respetarán una misma señal en robots.txt para que un sitio diga "no" al entrenamiento de IA generativa en un solo paso. El autor del borrador del IETF, de Anthropic, confirmó que su empresa ya empezó a implementarla. Microsoft fija el arranque el 1 de febrero de 2027; Google habla de 2027 y OpenAI de "los próximos meses".
Durante tres años, cualquier responsable de un sitio web que quisiera mantener su contenido fuera del entrenamiento de modelos tuvo que hacer el mismo trabajo una y otra vez: identificar el crawler de cada proveedor, leer su documentación, escribir una regla para GPTBot, otra para Google-Extended, otra para ClaudeBot, y repetir cada vez que aparecía un nombre nuevo.
El viernes 30 de octubre, a las 09:39 hora de Monterrey, Kevin Kelley, de Anthropic, publicó en la lista de correo del grupo de trabajo AI Preferences (aipref) del IETF un borrador de diez páginas con una propuesta deliberadamente modesta: no inventar sintaxis nueva, sino reutilizar la que robots.txt ya tiene. Ese mismo día, OpenAI, Google y Microsoft publicaron anuncios coordinados diciendo que respetarán la señal.
Es el primer mecanismo de exclusión del entrenamiento que tiene a los cuatro grandes laboratorios occidentales en la misma página. También es, conviene decirlo pronto, una preferencia y no un control de acceso. La diferencia importa más de lo que sugieren los titulares.
Qué pasó
El documento se llama Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00). Está fechado el 30 de octubre de 2026 y vence el 3 de mayo de 2027. Es una contribución individual: todavía no es un documento adoptado por el grupo de trabajo, y Kelley lo presenta como insumo para el trabajo del grupo.
La propuesta cabe en tres líneas. El borrador define un policy token, __usage_ai-training, que se escribe en la línea User-Agent de un grupo normal de robots.txt:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Según el texto, ese grupo "expresa una preferencia en contra del entrenamiento de IA para todas las rutas excepto las que están bajo /press-kit/, para las cuales expresa una preferencia a favor". La búsqueda usa las mismas reglas de coincidencia de rutas y de precedencia por la coincidencia más larga que define el RFC 9309, el Robots Exclusion Protocol publicado en 2022.
Lo que dijo cada empresa ese día:
- Anthropic: según Kelley, "ya empezó a implementar soporte" para el borrador, sin fecha. Sus crawlers, como ClaudeBot, siguen con sus reglas propias.
- OpenAI: respetará la señal "en los próximos meses" y publicará detalles de su implementación. Sus controles de crawler actuales siguen vigentes.
- Google: en 2027 tratará un opt-out con el token como si se hubiera bloqueado Google-Extended, siempre que el sitio no mencione Google-Extended. Ese control, que existe desde 2023, sigue funcionando.
- Microsoft: a partir del 1 de febrero de 2027 respetará la preferencia de entrenamiento, agrega una preferencia separada para grounding y sustituye sus etiquetas NoArchive y NoCache.
OpenAI fue escueto: dijo que la señal "no reemplazará" los controles que ya ofrece en robots.txt y que anima "a otros proveedores de IA a respetarla". Google, en una entrada firmada por John Mueller, agregó un argumento regulatorio: la propuesta es "consistente con el Código de Prácticas para proveedores de modelos de IA de propósito general bajo la Ley de IA de la Unión Europea, que reconoce robots.txt como un método principal" para expresar preferencias legibles por máquina.
Microsoft fue el más detallado, y el que más cambios exige a quien ya usaba sus controles anteriores.
Por qué importa
La primera razón es operativa. Un solo grupo en robots.txt sustituye una lista de bloques por proveedor que siempre llegaba tarde. Para un medio o una pyme, expresar la decisión pasa de "mantener un inventario de crawlers" a "escribir tres líneas".
La segunda es de definiciones. El token no toma su significado de la política de ninguna empresa, sino de la definición que el grupo aipref ya consensuó en su borrador de vocabulario (draft-ietf-aipref-vocab-08, del 13 de septiembre). Entrenamiento de IA es "usar un activo para modificar los parámetros aprendidos de un modelo de IA generativa". Y el texto excluye expresamente el entrenamiento de modelos que se usan solo para tareas no generativas, como clasificación, ranking o puntuación, aunque el modelo sea capaz de generar. Por primera vez, "no entrenes con mi contenido" significa lo mismo para todos.
La tercera es política. Google lo dijo sin rodeos: el borrador "refleja la retroalimentación de editores, grupos de la sociedad civil, reguladores y otros actores que han pedido controles a nivel industria". La sección de agradecimientos del borrador lo confirma: ahí aparecen, a título individual, personas de Microsoft, Google, OpenAI, Meta, Amazon Web Services, Cloudflare, Common Crawl, News Corp, el Financial Times, la BBC, la Electronic Frontier Foundation y Creative Commons. Con la Ley de IA europea exigiendo a los proveedores respetar reservas de derechos legibles por máquina, a la industria le conviene que exista una señal común antes de que alguien más la defina por ella.
El detalle técnico (que no se está discutiendo)
Los titulares hablan de "una línea para bloquear la IA". El borrador dice otra cosa, y hay cinco puntos que cualquier responsable de un sitio debería leer antes de celebrar.
1. No es una directiva de rastreo. La sección 4.4 lo dice textualmente: "Este policy token no es una directiva para el comportamiento de rastreo". Un proveedor puede usar la preferencia para dejar de descargar lo que no va a poder usar, pero el borrador no lo obliga. Si quieres que un bot no toque tu servidor, sigues necesitando una regla con su nombre. Y robots.txt nunca ha sido un mecanismo de autorización: el scraper que no quiera cumplir, no cumplirá.
2. El silencio no es un "no". El comodín User-Agent: * no coincide con el token, por diseño. Kelley lo explica en su mensaje: un robots.txt que no usa el mecanismo, "como ocurre con todos los que se publican hoy, no expresa ninguna preferencia". Dicho de otro modo: los millones de sitios que hoy tienen un Disallow general para todos los bots no han dicho nada sobre entrenamiento en términos de esta señal. Microsoft lo hace explícito: tanto entrenamiento como grounding tienen "Allow" como valor por omisión cuando no hay preferencia publicada.
3. No es retroactivo. El borrador establece que las preferencias que aplican a un activo son las del robots.txt "vigente cuando el activo fue recuperado". Lo que ya se descargó y ya se usó para entrenar no se ve afectado por lo que publiques mañana. Este mecanismo regula el futuro, no el pasado.
4. La precedencia tiene letra chica. La sección 4.5 dice que las expresiones específicas "deberían" prevalecer sobre las generales, que un proveedor "puede documentar" que trata sus tokens propietarios como más específicos que el compartido, y que los "acuerdos privados pueden anular" la preferencia. En la práctica, Google ya lo aplicó: si bloqueas con el token compartido pero permites explícitamente Google-Extended, gana Google-Extended.
5. Entrenamiento no es lo mismo que respuestas generadas. Este es el punto de fondo. El token solo cubre entrenamiento. No cubre el grounding: el momento en que un asistente consulta tu página en vivo para armar una respuesta. Ahí es donde se juega el tráfico, y ahí no hay señal común. Microsoft creó la suya, solo a nivel de página: Allow, Disallow y una tercera opción, DisallowExtended, que permite el uso en productos operados por Microsoft (AI Mode, AI Overview, Copilot, Microsoft 365) pero lo excluye de los servicios de grounding que vende a terceros, como Web IQ o la API en Foundry. Google, por su parte, recuerda que los sitios que permiten explícitamente Google-Extended son elegibles para aparecer y recibir clics vía grounding en las apps de Gemini.
La advertencia de Microsoft es honesta y conviene citarla: bloquear el grounding "reducirá significativamente la visibilidad de tu contenido en las experiencias generadas por IA", y ninguna de las dos opciones "garantiza inclusión, tráfico o pago". Las preferencias, añade, "no establecen acuerdos de licencia ni de pago".
Es decir: la industria acordó cómo decir "no me entrenes", que es la parte barata para ella, y dejó a cada proveedor la parte que define el negocio de los editores, que es si su contenido alimenta respuestas que compiten con su propia página.
Qué hacer
Para quien administra sitios, propios o de clientes, el trabajo es corto pero tiene fechas.
- Decide primero, configura después. Entrenamiento y grounding son decisiones separadas. Puedes negar el entrenamiento y permitir que tu contenido aparezca citado en respuestas, o al revés.
- Agrega el grupo del token si quieres excluirte del entrenamiento. Un grupo
User-Agent: __usage_ai-trainingconDisallow: /, más losAllowque necesites para rutas que sí quieras compartir, como una sala de prensa. No asumas que tuUser-Agent: *ya lo cubre: no lo cubre. - No borres los controles propietarios. Las reglas para GPTBot, ClaudeBot o Google-Extended siguen funcionando y, en el caso de Google, pueden ganarle al token. Revisa que no se contradigan con la nueva regla.
- Si usas NoArchive o NoCache en Bing, tienes calendario. El 15 de diciembre de 2026 se abre en Bing Webmaster Tools una preferencia temporal de grounding, solo para sitios que usen esas etiquetas en esa fecha. El 1 de febrero de 2027 Microsoft empieza a respetar las nuevas preferencias conforme rastrea. Después del 1 de marzo de 2027, NoArchive y NoCache dejarán de leerse como preferencia de entrenamiento o grounding. Las preferencias temporales expiran el 30 de septiembre de 2027 o al siguiente rastreo, lo que ocurra primero.
- Usa las etiquetas por página cuando haga falta. Microsoft acepta
<meta name="Bingbot" content="ai-training:disallow">o el encabezadoX-Robots-Tag: Bingbot: ai-training:disallow, y lo mismo conai-grounding:disallowoai-grounding:disallowextended. La preferencia de entrenamiento a nivel de página prevalece sobre la de robots.txt. - Si necesitas que algo no se descargue, usa controles reales. La señal es una preferencia para proveedores que deciden cumplir. Para todos los demás siguen haciendo falta reglas de WAF, gestión de bots, límites de tasa o autenticación.
- Recuerda que publicar no es activar. Microsoft lo advierte: el proveedor tiene que volver a rastrear la página para enterarse del cambio.
El borrador de Kelley termina con una frase que resume bien el estado de las cosas: "Esperamos que otros se unan y hagan de esto una sola señal que se respete en todo internet". Que los cuatro principales laboratorios coincidan en un token es un avance real. Pero la señal llega cuando buena parte de la web ya fue rastreada, no aplica hacia atrás y deja fuera el uso que hoy más le cuesta a los editores. La pregunta que vale la pena hacerse no es si agregar tres líneas a robots.txt, sino qué querrías haber dicho hace tres años, y si estás dispuesto a decirlo ahora sabiendo que bloquear el grounding también te vuelve invisible en las respuestas que están reemplazando a la búsqueda.
Fuentes
- IETF: draft-kelley-aipref-training-preference-signal-00, Machine-Readable Training Preference Signal (30-oct-2026)
- Microsoft Bing: Your content, your choice: clearer preferences for training and grounding (30-oct-2026)
- Google Search Central: Supporting a shared AI training control for websites (30-oct-2026)
