Los robots que se comen internet: lo que los rastreadores de IA hacen en nuestras webs
Por Kike Gandia · Investigación · 17 min de lectura
Durante años, muchas webs han cuidado a Googlebot para aparecer en los buscadores y recibir visitas. Los rastreadores de IA introducen usos diferentes: algunos recopilan contenido que puede emplearse para entrenar modelos; otros alimentan búsquedas o responden a peticiones de usuarios. Su efecto sobre el tráfico de cada web necesita medirse: nuestros registros no demuestran por sí solos cuántas visitas dejan de llegar.
Queríamos medir qué ocurre en nuestros propios servidores. Conservamos la investigación original y añadimos cinco días nuevos de observación en el laberinto. Cada cifra indica su fuente y periodo; una petición es un evento, no necesariamente una persona ni una página leída. Los nombres de rastreadores proceden de sus cabeceras declaradas, que pueden falsificarse. No publicamos direcciones IP individuales.
- 4.513.804
- eventos registrados en el laberinto (del 6 al 10 de noviembre, UTC)
- 1.140.560
- eventos en el día de mayor actividad (9 de noviembre, solo en el laberinto)
- 48.641
- eventos con User-Agent GPTBot en una hora (10 de noviembre, 00:00–01:00 UTC)
- 51,0 GB
- suma de tamaños de cuerpos registrados (no equivale necesariamente a bytes descargados)
Actualización del 11 de noviembre: cinco días más de observación
Entre el 6 de noviembre a las 00:00 y el 11 de noviembre a las 00:00 UTC, el laberinto registró 4.513.804 eventos. La primera petición observada fue el día 6 a las 00:45:50 y la última el día 10 a las 23:46:00 UTC. Hay actividad en las 120 franjas horarias de la ventana, aunque eso no garantiza que no hubiera interrupciones o retrasos de ingesta. Este tráfico está seleccionado por nuestras reglas: no representa todo internet ni todas las visitas de nuestros servidores.
| 6 de noviembre | 456.995eventos |
| 7 de noviembre | 921.097eventos |
| 8 de noviembre | 957.881eventos |
| 9 de noviembre | 1.140.560eventos |
| 10 de noviembre | 1.037.271eventos |
Eventos diarios del laberinto, fechas en UTC. Cada evento es una petición registrada, no un visitante único.
El día de mayor actividad fue el 9 de noviembre, con 1.140.560 eventos. La hora con más actividad total comenzó ese día a las 05:00 UTC y sumó 72.885 eventos. La mayor hora identificada como GPTBot comenzó el 10 de noviembre a las 00:00 UTC, con 48.641 eventos. Son recuentos locales; no sabemos por estos datos qué provocó los picos.
| User-Agent declarado | Eventos | Parte del laberinto | Tamaño de cuerpo registrado |
|---|---|---|---|
| GPTBot | 2.915.245 | 64,59 % | 13,70 GB |
| ClaudeBot | 979.645 | 21,70 % | 4,33 GB |
| meta-externalagent | 561.268 | 12,43 % | 32,80 GB |
| Bytespider | 10.166 | 0,23 % | 0,05 GB |
Las familias se agrupan por la cadena declarada en el User-Agent, sin una nueva verificación de identidad por red. Los porcentajes usan como denominador los 4.513.804 eventos del laberinto. La suma de tamaños de cuerpo registrada para todos los eventos fue de 51.003.615.793 bytes, unos 51,0 GB decimales. La aplicación registra el tamaño del contenido generado incluso en peticiones HEAD o conexiones interrumpidas: no es una medición de bytes efectivamente descargados.
En esa ventana se registraron 4.404.739 respuestas 200, 109.035 respuestas 404 y 30 eventos 499. También se marcaron 9.295 peticiones a señuelos. Estos recuentos describen nuestro entorno y no permiten atribuir por sí solos una intención o un operador a cada solicitud.
Búsqueda, entrenamiento y solicitudes del usuario no son lo mismo
Conviene decidir qué uso se quiere permitir antes de bloquear una familia entera. Según la documentación de OpenAI, GPTBot puede rastrear contenido que se use para mejorar modelos, OAI-SearchBot se utiliza para búsqueda y ChatGPT-User realiza acciones solicitadas por usuarios. Son funciones distintas y su tratamiento de robots.txt también puede diferir. Revisa las políticas actuales de cada proveedor y prueba el efecto sobre la visibilidad que te interesa conservar.
Dónde y cómo lo hemos medido
La web que estás leyendo está alojada aparte y no entra en esta medición.
Usamos dos fuentes independientes. La primera es el registro de acceso de nginx, el proxy por el que pasa todo el tráfico. Ese fichero rota y, cuando lo consultamos, cubría del 5 de noviembre a las 17:00:52 hasta las 23:50:00 UTC: 6 horas y 49 minutos, con 207.027 peticiones. La segunda es el índice donde guardamos cada visita a nuestro laberinto. En el clúster actual ese índice empieza el 2 de noviembre a las 23:14 UTC, y lo consultamos hasta el 5 de noviembre a las 23:01. Son unas 72 horas, con 1.264.477 eventos.
Qué es «el laberinto». Es un sitio ficticio que solo ven los rastreadores que hemos decidido no dejar pasar. Simula una web de análisis de fondos de inversión: miles de fichas, gestores, comparativas y sitemaps, todo inventado y determinista. La misma URL devuelve siempre la misma página, los enlaces cierran en los dos sentidos y el texto cita las cifras de la tabla de al lado. Generar una página nos cuesta unos 0,6 milisegundos. Para ellos, cada página son siete enlaces más en la cola.
Hay una limitación que conviene tener presente. La identidad de cada rastreador sale de su cabecera User-Agent, que es lo que cada uno dice ser. Esa declaración se falsifica en un segundo, así que la contrastamos con el rango de red de origen. Los tres grandes coinciden prácticamente al cien por cien con un único bloque de direcciones cada uno, y lo detallamos más abajo.
Quiénes son: cuatro User-Agent, el 92 % del tráfico de la muestra histórica
En las casi siete horas del registro de nginx, el reparto fue este. Agrupamos por familia de User-Agent y ordenamos por número de peticiones.
- OpenAI · GPTBot — 95.722peticiones (46,2 % del total · pico de 14.073 en una hora)
- Meta · meta-externalagent — 48.982peticiones (23,7 % · pico de 7.200 en una hora)
- Anthropic · ClaudeBot — 45.920peticiones (22,2 % · pico de 6.888 en una hora)
- Navegadores y resto — 14.523peticiones (7,0 % · incluye personas y bots que se hacen pasar por navegador)
- Escáneres conocidos — 1015peticiones (0,5 %)
- ByteDance · Bytespider — 499peticiones (0,2 %)
- Google · Googlebot — 26peticiones (20 de ellas recibieron un cierre de conexión (444) en dominios internos)
Peticiones por familia de rastreador. access.log de nginx, 5 de noviembre de 2026, de 17:00 a 23:50 UTC (207.027 peticiones).
GPTBot, Meta, ClaudeBot y Bytespider suman 191.123 peticiones: el 92,3 % de todo lo que llegó a esos servidores. El resto incluye cabeceras de navegador, buscadores y otros clientes; no podemos identificar personas solo por su User-Agent. Googlebot, el rastreador que durante veinte años ha marcado las reglas de la web, aparece 26 veces.
- OpenAI (GPTBot): 46.2 %
- Meta: 23.7 %
- Anthropic (ClaudeBot): 22.2 %
- Resto: 7.9 %
El «resto» agrupa navegadores, escáneres, librerías, Bytespider, buscadores y vistas previas.
Coincidencias observadas por User-Agent y rango de red
Que un visitante diga «soy GPTBot» no demuestra su identidad. En la muestra histórica del laberinto cruzamos las cabeceras declaradas con el bloque /16 de origen. Estas coincidencias son pistas, no una comprobación de propiedad de cada dirección ni de autenticidad del rastreador:
| Rastreador | Peticiones (3 días) | Direcciones distintas | Rango de origen | Coincidencia |
|---|---|---|---|---|
| OpenAI · GPTBot | 694.260 | 351 | 74.7.0.0/16 | 99,9 % |
| Meta · meta-externalagent | 287.034 | 75 | 57.141.0.0/16 | 100 % |
| Anthropic · ClaudeBot | 266.023 | 14 | 216.73.0.0/16 | 100 % |
| ByteDance · Bytespider | 2.922 | 104 | 47.128.0.0/16 | 98,8 % |
En esta muestra, las peticiones con la cabecera ClaudeBot aparecen asociadas a 14 direcciones, frente a 104 para Bytespider. No basta con compartir un /16 para atribuir cada petición a una empresa: hay que contrastar los rangos oficiales y, cuando corresponda, verificar DNS inverso y directo.
Los que pasan casi desapercibidos
Por debajo de los grandes hay una larga cola de agentes de IA que hacen muy pocas peticiones. Muchos no rastrean para entrenar: buscan en el momento porque un usuario les ha hecho una pregunta. En los tres días del laberinto aparecen, entre otros, PerplexityBot (43 peticiones), CCBot de Common Crawl (42), YouBot (41), ChatGPT-User (38), OAI-SearchBot (39 con una de sus variantes), Claude-User (35), DuckAssistBot (34), Amazonbot (31) y DeepSeekBot (29). No los sumamos a los grandes porque su comportamiento es otro: llegan, leen una página y se van.
Cuánto: un ritmo de fábrica, día y noche
El registro de nginx dio unas 30.000 peticiones por hora, muy estables: entre 29.056 y 32.943 en cada hora completa de la ventana. No es un pico puntual, es la velocidad de crucero.
En el laberinto, con tres días de datos, se ve mejor el ritmo de cada uno. La tabla da la media por hora y la peor hora observada:
| GPTBot · media peor hora: 17.833 | 9584peticiones/hora |
| Meta · media peor hora: 7.251 | 3964peticiones/hora |
| ClaudeBot · media peor hora: 6.957 | 3673peticiones/hora |
| Bytespider · media peor hora: 119 | 42peticiones/hora |
Peticiones por hora dentro del laberinto, del 2 al 5 de noviembre de 2026. La media excluye la primera y la última hora, que están incompletas.
| Día (UTC) | GPTBot | Meta | ClaudeBot | Bytespider |
|---|---|---|---|---|
| 3 de noviembre | 273.706 | 113.405 | 108.087 | 1.120 |
| 4 de noviembre | 215.410 | 84.111 | 74.550 | 881 |
| 5 de noviembre | 191.602 | 84.035 | 78.239 | 921 |
Dejamos fuera el día 2, porque el índice empieza a las 23:14 y solo tiene 46 minutos de ese día. En las fechas mostradas, GPTBot hizo más peticiones que Meta y ClaudeBot juntos; el 5 de noviembre termina a las 23:01 UTC y no es un día completo. Para tener una referencia: en septiembre, el pico de Meta era de 2.279 peticiones por hora. Ahora su peor hora llega a 7.251.
Lo que esto cuesta a una web normal. En nuestro entorno el laberinto genera páginas rápidamente y nginx limita la entrega, pero no hemos medido el coste equivalente para otra web. Una aplicación dinámica puede consumir recursos de base de datos y CPU distintos; conviene medir su latencia, carga y ancho de banda antes de decidir qué limitar.
Qué piden: fichas, gestores y, sobre todo, sitemaps
Cada rastreador tiene su manera de comer. Clasificamos las rutas que pidieron dentro del laberinto:
| Rastreador | Fichas de fondos | Gestores | Sitemaps | Tamaño de cuerpo registrado |
|---|---|---|---|---|
| GPTBot | 660.299 (95,1 %) | 31.442 | — | 3,25 GB |
| Meta | 170.646 (59,5 %) | 11.474 | 100.965 (35,2 %) | 6,38 GB |
| ClaudeBot | 233.186 (87,7 %) | 14.787 | — | 1,2 GB |
| Bytespider | 2.142 (73,3 %) | 449 | — | 0,01 GB |
El caso de Meta es llamativo en esta muestra histórica. Más de un tercio de las peticiones con su User-Agent son índices de sitemap, que anuncian 400 direcciones nuevas. La suma de tamaños de cuerpo registrados para todas las peticiones con esa cabecera es de 6,38 GB en el periodo: no demuestra que se hayan transferido o descargado todos esos bytes. El árbol completo de sitemaps del laberinto anuncia 2,56 × 10¹⁰ direcciones.
Otra pregunta interesante es hasta dónde llegan. La mediana de profundidad de las páginas pedidas es 3 y el percentil 99 es 7. La página más profunda que llegó a pedir alguien estaba a 9 niveles, y la pidió GPTBot. Los rastreadores no caen por el pozo sin fin: parecen tener un límite de profundidad. Lo que sí hacen es ensanchar la búsqueda. Para eso sirven los sitemaps.
Señuelos: qué hemos observado
En el laberinto también hay señuelos: rutas como /.env, /.git/config o /wp-admin, asociadas habitualmente a exploración de configuraciones y accesos. Devuelven credenciales ficticias que apuntan a dominios inexistentes. En la muestra histórica hubo 2.728 peticiones a señuelos:
| Ficheros de entorno (/.env y variantes) 129 direcciones distintas | 2285peticiones |
| Repositorios git expuestos 89 direcciones distintas | 231peticiones |
| Paneles de administración 95 direcciones distintas | 212peticiones |
Peticiones a señuelos del laberinto, del 2 al 5 de noviembre de 2026.
De las 2.285 peticiones a ficheros de entorno, la puerta clasificó como IA 167; de las 231 a repositorios git, clasificó 2. Esa clasificación es una heurística, no demuestra la identidad ni la intención de quien hizo cada petición. En la nueva ventana del 6 al 10 de noviembre se registraron 9.295 eventos en señuelos; son periodos distintos y no hemos atribuido esas visitas a empresas concretas.
En la muestra histórica, 4.105 peticiones tenían una cabecera de navegador y carecían de determinadas cabeceras esperadas por la puerta; 3.025 procedían de direcciones ya marcadas por comportamiento. Son indicios para investigar, no una prueba de suplantación: navegadores, clientes y configuraciones legítimas pueden enviar cabeceras diferentes.
¿Se respeta robots.txt? Lo que permiten concluir las mediciones
Esta era la pregunta estrella, y la respuesta honesta tiene dos partes.
La prueba de septiembre
El 7 de septiembre de 2026 medimos diez horas del registro de nginx, con 32.383 peticiones. En aquel momento, el robots.txt de uno de nuestros sitios decía «User-Agent: * / Disallow: /». La directiva solicitaba que no se rastreara ninguna ruta. El resultado observado:
- 14.776
- peticiones de meta-externalagent (45,6 % de todo el tráfico, 14.628 respondidas con un 200)
- 0
- peticiones de Googlebot (no se observó en esta ventana; no demuestra por qué)
El robots.txt expresa una preferencia; no sustituye a un control de acceso.— Conclusión metodológica
Ese fichero coincidió con ausencia de peticiones identificadas como Googlebot y con actividad que declaraba ser meta-externalagent. No conocemos la lectura ni la caché de robots.txt de cada cliente y la cabecera puede falsificarse, por lo que la observación, por sí sola, no demuestra quién incumplió una directiva. Para restringir acceso hacen falta controles en el servidor.
La trampa y lo que permite concluir
Después montamos una ruta /trampa/, prohibida en el robots.txt real del sitio y enlazada de forma oculta en el pie. El laberinto marca las peticiones a esa ruta como «robots_violado». El campo indica que se solicitó la ruta; por sí solo no verifica la identidad del cliente ni que hubiese leído una versión concreta de robots.txt.
En la muestra histórica de 1.264.477 eventos, «robots_violado» apareció cero veces y no vimos peticiones a /trampa/ en la ventana de nginx. En la nueva ventana del 6 al 10 de noviembre aparecen dos peticiones marcadas, ambas el 7 de noviembre y clasificadas como «persona», con cabeceras de navegador. No sabemos si son visitantes distintos, si consultaron robots.txt o si sus cabeceras son auténticas; no prueban una infracción atribuible a empresas de IA.
- Comprobado el 6-nov Lo que recibe una persona
- El robots.txt del sitio dice «Disallow: /». El enlace a /trampa/ está en el pie del sitio de verdad.
- Comprobado el 6-nov Lo que recibe GPTBot
- El mismo fichero, pedido con su User-Agent, devuelve «Allow: /» y «Crawl-delay: 1». Es el robots.txt del laberinto, que es permisivo a propósito para que caven más.
- Diseño La consecuencia
- El tráfico dirigido al laberinto recibe una versión permisiva. Esa diferencia de rutas y respuestas limita lo que se puede concluir sobre el respeto del robots.txt del sitio real.
Por tanto, el laberinto no permite evaluar de forma general si los rastreadores que recibe respetarían el robots.txt del sitio real: reciben otra versión. Para investigarlo haría falta un diseño controlado y verificar identidades, versiones y momentos de consulta. Tampoco hemos medido por dirección si se cumple el «Crawl-delay: 1» del laberinto.
Un dato más, que tampoco es concluyente: en las casi siete horas del registro de nginx, GPTBot y Meta no pidieron el robots.txt ni una vez, y ClaudeBot lo pidió 14. Es normal que un rastreador lo guarde en caché durante horas, así que esa cifra no demuestra que lo ignoren.
Qué se llevan: los canarios de contenido
El laberinto contiene 24 fondos con marcas inventadas y cifras concretas. Funcionan como las calles trampa que los cartógrafos ponían en sus mapas para descubrir copias. Si un modelo responde con esos datos exactos, sería un indicio para investigar. Antes de atribuirlo al entrenamiento habría que descartar búsqueda en vivo, cachés, otras fuentes y contaminación de la prueba: una coincidencia por sí sola no demuestra entrenamiento.
Para que sea una medición y no una impresión, cada ronda pregunta también por seis marcas de control. Tienen la misma forma pero nunca se han publicado. Si un modelo «reconoce» un control, no está recordando, se lo está inventando, y la ronda no vale.
Lo que no hemos podido medir. La consulta de los veredictos del 11 de noviembre muestra dos registros de la ronda del 1 de octubre, ambos marcados como inválidos con la conclusión «sin_respuestas». La ronda contemplaba 24 canarios y 6 controles, pero no proporciona respuestas evaluables. Hoy no sabemos si algún modelo se ha entrenado con el contenido del laberinto; tampoco puede inferirse lo contrario de esta prueba.
Septiembre frente a noviembre
La comparación entre las dos mediciones es tentadora, pero hay que hacerla con cuidado. No son la misma ventana (diez horas frente a siete) y en noviembre hay más dominios detrás del proxy. Lo que sí se puede decir:
| 7 de septiembre de 2026 | 5 de noviembre de 2026 | |
|---|---|---|
| Peticiones en la ventana | 32.383 en 10 h | 207.027 en 6 h 49 min |
| Primer rastreador | Meta, 45,6 % | OpenAI GPTBot, 46,2 % |
| Meta | 14.776 (45,6 %) | 48.982 (23,7 %) |
| Googlebot | 0 en el sitio medido | 26 en total |
| Peor hora de Meta | 2.279 | 7.200 (nginx) / 7.251 (laberinto) |
Meta no ha bajado: ha triplicado su peor hora. Lo que ha pasado es que OpenAI y Anthropic han llegado con una fuerza parecida o mayor. En noviembre, tres empresas se reparten nueve de cada diez peticiones de nuestros servidores.
Cómo saber qué bots visitan tu web
No hace falta un laberinto para empezar. Basta con el registro de acceso de tu servidor web. Si usas nginx o Apache con el formato de log combinado, el User-Agent es el último campo entre comillas. Esta línea agrupa las peticiones por familia de rastreador:
# Peticiones por rastreador conocido en el access.log (formato combinado)
awk -F'"' '{print $6}' /var/log/nginx/access.log \
| grep -oiE 'GPTBot|ClaudeBot|meta-externalagent|Bytespider|CCBot|PerplexityBot|Amazonbot|Googlebot|bingbot' \
| sort | uniq -c | sort -rnY esta otra te dice cuántas peticiones hace cada uno por hora, para ver si el patrón es el mismo que el nuestro:
# Peticiones de GPTBot por hora
grep 'GPTBot' /var/log/nginx/access.log \
| awk '{print substr($4, 2, 14)}' | sort | uniq -c- Paso 1 — Mide antes de bloquear
Una semana de log te dice quién viene, cuánto y a qué páginas. Sin esa base no sabrás si el bloqueo ha funcionado ni qué rompe. - Paso 2 — No te fíes del User-Agent
Cualquiera puede decir que es Googlebot. Contrasta el rango de origen: algunos operadores, como Google y OpenAI, publican sus direcciones, y para el resto puedes consultar el AS de origen con whois. Un «Googlebot» que no sale de Google es un impostor. - Paso 3 — Decide qué quieres de cada uno
No es lo mismo un buscador que te trae visitas, una vista previa de WhatsApp que muestra tu enlace o un rastreador que entrena un modelo. La política correcta casi nunca es «todo o nada». - Paso 4 — Corta en el transporte, no en un fichero
El robots.txt es una petición de cortesía. Para frenar de verdad, la decisión se toma en el proxy o en el CDN, cruzando lo que dicen ser con de dónde vienen.
Cómo frenarlos: lo que hace y lo que no hace cada herramienta
El robots.txt: útil, pero solo para los educados
El robots.txt no impide nada. Es un aviso que un rastreador puede leer y obedecer, o no. Sirve para decirles a los que cumplen qué no quieres que rastreen, y muchos operadores de IA documentan su nombre para que puedas excluirlos. Ponerlo no hace daño y deja constancia de tu voluntad:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /robots.txt expresa preferencias de rastreo, pero no es un mecanismo de control de acceso: un cliente puede omitirlo y los resultados dependen también de la caché y de la identidad real del visitante. Para proteger recursos usa autenticación, controles del servidor y límites de velocidad según corresponda.
User-agent frente a rango de red
El User-Agent ayuda a clasificar, pero puede falsificarse. Para verificar un rastreador consulta los rangos oficiales y, cuando el proveedor lo documente, comprueba DNS inverso y directo. No trates una coincidencia en un /16 como prueba de identidad. Si decides bloquear por cabecera, este ejemplo sencillo solo afecta a quienes se identifican con esos nombres:
# En el contexto http de nginx: clasificación por User-Agent declarado
map $http_user_agent $bloquear_ua_ia {
default 0;
~*GPTBot 1;
~*ClaudeBot 1;
~*meta-externalagent 1;
~*Bytespider 1;
}
# Dentro del server {} correspondiente
if ($bloquear_ua_ia) { return 403; }Esta regla no autentica al visitante y no bloquea a quien cambie de cabecera. Si usas direcciones de origen, comprueba los rangos oficiales actuales, IPv4 e IPv6 y el efecto de tus proxies; evita bloquear un /16 entero por una coincidencia en tus logs. Prueba primero en observación y revisa falsos positivos.
El 444, el 403 o el laberinto
- Recomendado para la mayoría 403 o 444 (cerrar sin responder)
- Barato y efectivo con quien se identifica. El inconveniente es que avisa: quien recibe un corte sabe que hay algo que le bloquea y puede volver mañana con otra IP y otro nombre. Nosotros lo reservamos para dominios internos.
- Término medio Limitar la velocidad
- Con limit_req en nginx o una regla del CDN, el rastreador sigue entrando, pero sin tumbar el servidor. Útil cuando no quieres desaparecer de los asistentes de IA, pero tampoco pagar su factura.
- Solo si sabes lo que haces El laberinto
- Puede servir para observar patrones en un entorno aislado, pero exige diseño y mantenimiento. Mantén el contenido ficticio separado de sistemas reales, mide su coste y ten presentes los límites de atribución.
Lo que un laberinto nunca debe hacer. Nada de bombas de descompresión, redirecciones a terceros o cargas que se ejecuten en la máquina del otro. Nuestros señuelos apuntan solo a dominios que por norma no existen en Internet (.invalid y .local), y las credenciales de mentira codifican la clase de visitante y el día, nunca su IP. Pasar de defenderse a agredir te convierte en el problema de otra persona.
Lo que nos llevamos de todo esto
- La muestra histórica de nginx y la nueva muestra del laberinto cubren ventanas y poblaciones distintas; no se pueden comparar como si fueran el mismo tráfico.
- Del 6 al 10 de noviembre registramos 4.513.804 eventos en el laberinto; los User-Agent GPTBot, ClaudeBot y meta-externalagent concentran gran parte de esa muestra seleccionada.
- La suma de tamaños de cuerpos registrados fue de 51,0 GB, una métrica de generación que no acredita el volumen realmente transferido.
- En la nueva ventana aparecen dos peticiones marcadas en /trampa/, con cabeceras de navegador; no acreditan por sí solas identidad ni incumplimiento de robots.txt.
- La ronda de canarios no obtuvo respuestas evaluables, así que no permite determinar si el contenido entró en un entrenamiento.
- Separa las políticas de búsqueda y entrenamiento, verifica identidades con fuentes oficiales y aplica controles técnicos acordes con tus objetivos.
Si quieres que miremos quién se está llevando el contenido de tu web, cuánto te cuesta y qué conviene frenar sin perder visibilidad, en QuantumSec hacemos ese análisis con tus propios registros.
Fuentes y método
- Registro de acceso de nginx del proxy de QuantumSec: 207.027 peticiones del 5 de noviembre de 2026, de 17:00:52 a 23:50:00 UTC. Clasificación por familias de User-Agent con expresiones regulares.
- Índice de eventos del laberinto (vigilancia_trampa-2026-11): 1.264.477 eventos del 2 de noviembre a las 23:14 UTC al 5 de noviembre a las 23:01 UTC. Agregaciones por User-Agent, rango /16 de origen, ruta, señuelo y profundidad. No hay meses anteriores en el clúster actual.
- Robots.txt de uno de nuestros sitios pedido el 6 de noviembre de 2026 con el User-Agent de un navegador y con el de GPTBot.
- Veredictos de canarios de contenido: una ronda, el 1 de octubre de 2026, con dos modelos, 24 canarios y 6 controles.
- Medición del 7 de septiembre de 2026: 32.383 peticiones en 10 horas del mismo registro, documentada en el diseño del laberinto.
- No se publica ninguna dirección IP individual. Los rangos /16 se muestran como agrupaciones observadas, sin atribución concluyente.
- Actualización consultada el 11 de noviembre de 2026: índice vigilancia_trampa-2026-11, 4.513.804 eventos desde el 6 de noviembre a las 00:00 UTC, inclusive, hasta el 11 de noviembre a las 00:00 UTC, exclusive. Primer y último evento observados: 6 de noviembre a las 00:45:50 y 10 de noviembre a las 23:46:00 UTC. Hay eventos en las 120 franjas horarias; esto no garantiza cobertura continua ni ausencia de retrasos de ingesta.
- Las cifras por familia de la actualización se obtienen buscando cadenas de User-Agent sin distinguir mayúsculas. El laberinto recibe tráfico seleccionado por nuestras reglas, por lo que no representa todo internet ni el tráfico total de nuestros servidores. Los tamaños son la suma del campo de tamaño del cuerpo generado por la aplicación, incluido en eventos HEAD y conexiones interrumpidas; no mide bytes efectivamente recibidos.
- Documentación oficial de los rastreadores de OpenAI; verificación de rastreadores de Google; RFC 9309: Robots Exclusion Protocol.
Servicio relacionado
ciberinteligencia y vigilancia de vuestra exposición
Temas de este artículo
#rastreadores-de-IA #GPTBot #robots-txt #nginx #bots #contravigilancia #Meta #ClaudeBot
Seguir leyendo
- Congresos de hacking en España: a cuáles ir y cómo sacarles partido
- NIS2 en España, dos años sin ley: en qué punto está la transposición y qué hacer este trimestre
- Calendario de compliance europeo 2026-2030: CRA, AI Act, Data Act y todo lo que viene
- Cloudflare vs. LaLiga: El choque de titanes que amenaza la Internet en España
- Evolución del Offshore: Vacíos Legales, Filtraciones y el Auge del ‘Paraíso On-shore’ en EE.UU.