Robots.txt e IA: 5 decisiones antes de bloquear tu web

La relación entre robots.txt e IA acaba de cambiar: el 30 de octubre, Google y Microsoft anunciaron que apoyarán una señal común para indicar si tu contenido puede usarse para entrenar modelos, y OpenAI y Anthropic se sumaron a la iniciativa. Antes de copiar una regla que viste en redes, conviene entender qué bloquea, qué no y qué podrías perder.

Qué cambia en robots.txt e IA

Hasta ahora, cada empresa tenía su propio control. Para pedir que no entrenaran con tu web, debías mantener una lista de rastreadores y marcas que crecía sin parar.

La propuesta añade un único identificador, __usage_ai-training, que se escribe como si fuera un rastreador más:

User-agent: __usage_ai-training
Disallow: /

Con esas dos líneas expresas que no quieres que tu sitio se use para entrenar IA. También puedes aplicarlo por secciones: el borrador publicado en la IETF incluye un ejemplo que bloquea todo el sitio salvo una carpeta de prensa.

El apoyo de cada empresa va a ritmos distintos:

Google: la documentación de sus rastreadores indica que prevé admitirla a principios de 2027.
Microsoft Bing: empezará a aplicar sus nuevas preferencias a partir del 1 de febrero de 2027, a medida que rastree las páginas.
Anthropic: comunicó en la lista de la IETF que ya está implementando el soporte y que llevará tiempo extenderlo a todos sus servicios.
OpenAI: también anunció planes similares para respetar la señal compartida, sin una fecha concreta por ahora.

Lo que esta señal no hace

Aquí está el punto que evita errores caros. Hablamos de un borrador individual, sin categoría de estándar: la propia IETF aclara que no tiene respaldo formal, así que el texto todavía puede cambiar.

Además, es una preferencia, no una barrera técnica. El borrador tampoco la plantea como una orden de rastreo. Si un contenido es privado o de pago, protégelo con inicio de sesión: Gary Illyes, de Google, recordó que robots.txt no es un control de seguridad.

Otro detalle técnico: una regla con User-agent: * no incluye este identificador. Si quieres expresar tu preferencia, debes nombrarlo de forma explícita.

Entrenamiento y respuestas con IA: dos cosas distintas

La decisión es más fina de lo que parece, porque los modelos pueden usar tu contenido de dos formas:

Entrenamiento: tus textos alimentan un modelo futuro. Normalmente no recibes una visita a cambio.
Respuestas con fuentes (grounding): la IA consulta tu página al responder y puede citarla, lo que puede traerte visibilidad y clics.

Cada empresa separa estas funciones a su manera, y por eso una regla genérica puede tener efectos desiguales.

Google

Google-Extended no afecta a tu presencia ni a tu posición en Google Search. Pero ese mismo control cubre tanto el entrenamiento de los modelos Gemini como el grounding en las apps de Gemini y en Vertex AI.

John Mueller explicó que, si usas la señal común para rechazar el entrenamiento y no mencionas Google-Extended, Google actuará como si lo hubieras bloqueado. Si quieres seguir apareciendo en las respuestas de Gemini, tendrías que permitir Google-Extended de forma explícita, con lo que ese permiso también alcanzaría al entrenamiento.

Para AI Overviews y AI Mode existe un control aparte en Search Console. Empezó a desplegarse en junio para un grupo reducido de sitios en Reino Unido, así que comprueba si ya aparece en tu cuenta.

Bing

Microsoft separa ambas funciones. Puedes rechazar el entrenamiento desde robots.txt, mientras que el grounding se define página por página con una etiqueta meta:

<meta name="Bingbot" content="ai-grounding:disallow">

También existe la opción disallowextended, que limita el uso a experiencias operadas por Microsoft. Tu elegibilidad para los resultados tradicionales no cambia, aunque Microsoft advierte de que restringir el grounding reducirá mucho tu visibilidad en sus experiencias con IA.

Si hoy usas las etiquetas NoArchive o NoCache, anota el 1 de marzo de 2027: es el plazo para publicar las nuevas preferencias si quieres mantener tus restricciones.

OpenAI

Su documentación separa GPTBot, ligado al entrenamiento, de OAI-SearchBot, que permite aparecer en la búsqueda de ChatGPT. Puedes bloquear el primero y permitir el segundo. Si bloqueas OAI-SearchBot, tu sitio dejará de mostrarse en esas respuestas, salvo como enlace de navegación.

¿Bloquear o no? 5 decisiones para tu negocio

No hay una respuesta única. Estas cinco preguntas te ayudan a definir tu política:

¿Tu contenido es el producto? Si vendes cursos, investigación o información exclusiva, tiene sentido rechazar el entrenamiento y poner lo más valioso tras un inicio de sesión.
¿Tu web existe para que te encuentren? Un negocio local, una consultora o una tienda suele ganar más estando visible, así que evita bloqueos amplios.
¿Qué secciones importan más? Puedes aplicar reglas por carpetas: abiertas las páginas de servicios y cerradas las secciones con contenido propio de alto valor.
¿De dónde llegan hoy tus visitas? Antes de cortar nada, revisa tus datos. En Bing Webmaster Tools, el informe de rendimiento en IA muestra citas y páginas citadas.
¿Quién revisará esto en 2027? Las fechas y el texto del borrador pueden moverse. Asigna a alguien la tarea de comprobar las reglas cuando cada empresa active el soporte.

Un experimento reciente invita a la cautela. Cyrus Shepard retiró un sitio de las funciones de IA de Google y estimó un CTR de alrededor del 0,9 % en esas impresiones, pero también vio caer los clics orgánicos normales. Es un solo sitio y una estimación, así que no sirve como regla general, aunque sí como aviso: salir de la IA podría tener efectos que no esperas.

Cómo preparar tu robots.txt e IA sin riesgos

Tienes margen hasta 2027, así que puedes hacerlo con calma:

Revisa el archivo actual. Abre tudominio.com/robots.txt y comprueba qué reglas tiene y si alguna bloquea a un buscador por error.
Identifica quién lo gestiona. En WordPress puede generarlo el propio sistema o un plugin de SEO, como Rank Math o Yoast.
Añade la regla en un bloque aparte. Nunca escribas Disallow: / bajo User-agent: * para este fin: le estarías pidiendo a todos los rastreadores que no entren en tu web.
Documenta la decisión. Anota qué permites, qué rechazas y por qué, para no depender de la memoria de nadie.
Mide después del cambio. Vigila durante varias semanas las impresiones, los clics y las citas en IA.

¿Cómo te ayuda Codyas?

En Codyas podemos revisar tu robots.txt, tus etiquetas y tus datos de tráfico para definir qué permitir y qué proteger, sin poner en riesgo tu posicionamiento. Nuestro servicio de SEO cubre esa parte estratégica, y el de hosting, mantenimiento y soporte mantiene tu sitio al día cuando estas reglas entren en vigor.

Pide una revisión de tu robots.txt antes de que lleguen los cambios de 2027: visita www.codyas.com, escríbenos a info@codyas.com o llámanos al +1 (786) 941-6116.