Rastreadores de IA
Los asistentes de IA leen la web con sus propios rastreadores, y tu robots.txt decide a cuáles dejas entrar. Esta herramienta lee ese archivo, evalúa una lista de rastreadores de IA conocidos y te enseña una matriz clara: permitido, bloqueado o sin regla. Así compruebas si una regla dice lo que querías. Los resúmenes y el modo de IA de Google se alimentan de Googlebot, no de Google-Extended. Es gratis, no pide registro y solo consulta archivos públicos.
Escribe un dominio y verás qué rastreadores de IA permite o bloquea su robots.txt.
¿Prefieres que lo revise un equipo? iNTERVOLUTIONS, el estudio que hace MideTuWeb, puede arreglarlo por ti.Cuéntanos tu caso (se abre intervolutions.com en una pestaña nueva)
Cómo funciona
- Escribe el dominio de tu web.
- Descargamos tu
robots.txtcon un ritmo cortés y sin saltarnos ninguna regla. - Evaluamos las reglas para cada rastreador de IA, por su nombre exacto.
- Te mostramos la matriz agrupada por finalidad, con lo que conviene revisar.
Tres tipos de rastreador, tres decisiones
No todos los rastreadores de IA hacen lo mismo. Unos recogen contenido para entrenar modelos. Otros construyen el índice con el que un asistente busca en la web. Un tercer grupo actúa solo cuando una persona le pide a un asistente que abra una página concreta.
- Entrenamiento y uso en modelos: GPTBot, ClaudeBot, CCBot y los tokens de control Google-Extended y Applebot-Extended. Bloquear Google-Extended no saca a una web de los resúmenes ni del modo de IA de Google, que usan Googlebot.
- Búsqueda: OAI-SearchBot y PerplexityBot, que alimentan índices con los que un asistente responde con fuentes.
- Petición de usuario: ChatGPT-User, que acude cuando alguien pide abrir tu página.
Cómo leer el resultado
Un rastreador puede estar permitido de forma explícita, bloqueado por una regla propia, afectado por un bloqueo general (User-agent: *) o sin ninguna regla. Sin regla significa permitido: robots.txt funciona por exclusión. Si ves un bloqueo que no esperabas, suele venir de una regla general heredada de un desarrollo o de un plugin de seguridad. Corrígelo en el archivo y vuelve a comprobar para confirmarlo.
Lo que esta herramienta no puede decirte
robots.txt es una petición, no una barrera. Un cortafuegos o una CDN pueden bloquear a un rastreador aunque el archivo lo permita, y que un rastreador respete las reglas depende de su empresa. La herramienta lee tus reglas. No hace pruebas con identidades ajenas: nunca nos hacemos pasar por otro rastreador.
Cómo decidir qué permitir
- Define tu objetivo: ser fuente citable, proteger tu contenido o ambas cosas.
- Si quieres aparecer en respuestas con fuentes, permite los de búsqueda y los de petición de usuario.
- Decide el entrenamiento aparte: es una decisión de negocio y de política de contenidos.
- Escribe cada regla por el nombre exacto del rastreador y vuelve a comprobarla aquí.
Preguntas frecuentes
¿Bloquear el rastreador de entrenamiento me quita de las respuestas de los asistentes?
Depende del operador. En varios de ellos, según su documentación pública, el rastreador de entrenamiento y el de búsqueda son distintos y se controlan por separado; otros usan un solo rastreador para todo. En Google, los resúmenes y el modo de IA usan Googlebot, así que bloquear Google-Extended no los afecta. Revisa la documentación de cada proveedor.
¿Estoy obligado a permitir a los rastreadores de IA?
No. Es una decisión de cada web. Permitirlos es necesario si quieres que puedan leer tu contenido, pero no asegura que lo citen. Bloquearlos es legítimo si prefieres que tu contenido no se use en ese contexto.
Mi `robots.txt` permite un rastreador, pero no llega. ¿Por qué?
Puede que un cortafuegos, una CDN o un plugin de seguridad lo esté bloqueando antes de que llegue a tu web. Esta herramienta solo evalúa las reglas del archivo. Revisa los registros de tu servidor o la configuración de tu CDN.
¿Por qué no se prueba con los rastreadores reales?
Porque no suplantamos identidades de terceros. Nuestro análisis se identifica siempre como MideTuWebBot y respeta tus reglas. Por eso evaluamos lo que dice tu robots.txt, que es público y suficiente para saber qué has pedido.