robots.txt controla el rastreo, no el uso de su contenido por la IA
¿Qué dijo Google sobre robots.txt y la IA?
Search Engine Journal informó el 22 de octubre de 2026 (nota de Matt G. Southern) sobre un video de Google Search Central, el segundo de la serie «The Non-Canonical Cabinet». Según ese resumen, Gary Illyes explica que robots.txt, tal como lo define el estándar RFC 9309, expresa preferencias de acceso: indica qué URL puede solicitar un rastreador, pero no dicta lo que un sistema hace con los datos una vez rastreados. El mismo resumen añade que, para excluir a un rastreador concreto, hay que nombrar su token de user-agent, y que una colega de Google, Cherry Prommawin, recomienda escribir en forma codificada (percent-encoding) las rutas con caracteres no ingleses.
¿Qué está confirmado y qué no?
| Afirmación | Respaldo |
|---|---|
| robots.txt sirve sobre todo para gestionar el tráfico de rastreo y no para sacar una página de Google | Confirmado en la documentación de Google Search Central, que recomienda noindex o contraseña para eso. |
| Las reglas no son autorización de acceso ni sustituyen la seguridad real | Confirmado en el texto del RFC 9309, el estándar mismo. |
| Google-Extended es un token aparte que controla el uso para Gemini, no afecta a la Búsqueda y no tiene user-agent propio | Confirmado en la página de rastreadores comunes de Google. |
| El video dice que robots.txt cubre el rastreo y no el uso del contenido por la IA | Solo por la cobertura de SEJ. No encontré una entrada escrita de Google con ese enfoque ni vi el video completo; trátelo como no confirmado hasta leerlo en la fuente. |
| Qué hace cada empresa de IA con lo que rastrea | No confirmado aquí. Depende de las políticas de cada proveedor. |
¿Qué le pasó a mi propio sitio con esto?
Dos hechos que revisé el 24 de octubre de 2026 en napoleoncontreras.com. Primero, mi robots.txt permite de forma explícita a GPTBot, ChatGPT-User, ClaudeBot, Claude-Web, PerplexityBot, Google-Extended y Applebot-Extended. Segundo, una petición con el user-agent «GPTBot/1.1», hecha desde una conexión común, recibió un error HTTP 429 de Cloudflare, mientras que la misma página pedida con un user-agent de navegador respondió 200.
El límite de esta prueba es importante. Declaré un user-agent desde una IP que no pertenece a OpenAI, de modo que no demuestra qué recibe el GPTBot real, y no afirmo que mi sitio lo bloquee. Lo que sí muestra es que lo escrito en robots.txt y lo que ocurre en la red son capas distintas: un archivo puede decir «adelante» mientras la capa de seguridad o el CDN responde otra cosa a ciertas peticiones. Es el patrón que conviene buscar en cualquier sitio.
¿Qué significa para su negocio?
- Si quiere que las IA lean su sitio: permitir en robots.txt es el primer paso, no el último. Confirme además que ninguna regla de firewall, CDN o plugin de seguridad les responde con error.
- Si quiere limitar el uso de su contenido: robots.txt es una preferencia que cada rastreador decide si respeta. Para Google, el token Google-Extended es el mecanismo documentado para Gemini. Para el resto, depende de cada proveedor, y para contenido que no debe ser público hace falta control de acceso real.
- Si vende productos o servicios por internet: decida qué le conviene a su negocio (visibilidad o reserva del contenido) antes de copiar un robots.txt de otro sitio.
¿Qué puede hacer esta semana?
- Lea su robots.txt (tusitio.com/robots.txt) y anote qué rastreadores de IA permite o bloquea. Si no recuerda haberlo decidido, probablemente lo decidió un plugin o el hosting.
- Revise la capa de seguridad. Mire en el panel de su CDN o firewall si hay reglas anti-bots y qué hacen con los user-agents de IA. Los registros del servidor son la prueba más fiable de lo que llega de verdad.
- Pida a su proveedor evidencia, no promesas: qué rangos de IP verifica, qué respuesta recibe cada bot y desde cuándo.
- Decida el criterio por escrito: qué quiere permitir, qué limitar y por qué. Úselo como regla cuando alguien modifique el archivo.
- Mida después. Que un bot llegue no asegura que lo citen; el método para medir menciones en IA explica cómo revisarlo con un set fijo de preguntas.
¿Qué revisa el Auditor GEO y qué no?
El Auditor GEO gratuito analiza una URL de su sitio: lectura técnica, formato y señales para que una IA pueda entenderla. Es una revisión de la página, no la prueba de lo que recibe cada bot real desde su CDN; para eso hay que mirar sus registros. Si el resultado le deja dudas sobre la capa de seguridad, el siguiente paso es el diagnóstico, donde se revisa su caso con evidencia y se acuerda un alcance por escrito. Para el contexto general de lo que Google confirma sobre IA, vea qué dice Google sobre optimizar para la IA.
Preguntas frecuentes
¿Bloquear un rastreador en robots.txt impide que la IA use mi contenido?
Solo regula lo que ese rastreador puede pedir a su sitio. Según Google, robots.txt gestiona el tráfico de rastreo, y según el resumen de SEJ del video de Gary Illyes no dicta qué hace un sistema con los datos después. Si quiere limitar un uso concreto en Google, existe el token Google-Extended, que Google documenta para Gemini.
¿Qué pasa si permito un bot en robots.txt?
Declara que no se opone a que ese rastreador pida sus páginas. No asegura que la petición llegue: un firewall, una red de entrega de contenido (CDN) o una regla anti-bots pueden responder con un error antes de que el archivo cuente.
¿Puedo comprobar yo mismo si un bot llega a mi sitio?
Parcialmente. Puede enviar una petición con el user-agent de ese bot y mirar el código HTTP, pero desde su propia conexión no es lo mismo que la petición del bot real, que sale de rangos de IP del proveedor. Para la prueba definitiva hay que revisar los registros del servidor o del CDN.
¿Google-Extended afecta mi posición en Google?
Según la documentación de Google, no: no influye en la inclusión en la Búsqueda ni se usa como señal de posicionamiento. Controla si el contenido rastreado puede servir para entrenar Gemini y para dar contexto al modelo en el momento de la consulta.
Fuentes: documentación de Google Search Central (robots.txt y rastreadores comunes), RFC 9309 y nota de Search Engine Journal del 22/10/2026. Última revisión: 24 de octubre de 2026.