Rastreadores de IA
Son los agentes automáticos de las empresas de IA. Unos recogen contenido para entrenar modelos, como GPTBot o ClaudeBot; otros alimentan un índice de búsqueda, como OAI-SearchBot o PerplexityBot; y otros acuden cuando un usuario pide a un asistente que abra una página, como ChatGPT-User. Cada uno se identifica con un nombre en su user agent.
Con robots.txt puedes permitir o bloquear cada uno, y la decisión tiene consecuencias distintas: en varios operadores, bloquear el entrenamiento no impide aparecer en su búsqueda, aunque algunos usan un solo rastreador para todo. Los resúmenes y el modo de IA de Google se alimentan de Googlebot: bloquear Google-Extended no saca a una web de ellos. El informe muestra la matriz, y su cumplimiento depende de que cada bot respete las reglas.
Decide según tu objetivo: si quieres ser fuente citable, permite los de búsqueda y de usuario; el entrenamiento es una decisión aparte, de política y de negocio. Escribe las reglas por nombre exacto, revisa que no las anule un Disallow general y comprueba que tu cortafuegos no los bloquee sin querer. La herramienta bots-ia te lo comprueba.