Saltar al contenido

Para administradores de sistemas

MideTuWebBot

MideTuWebBot es el rastreador de MideTuWeb. Visita una web solo cuando alguien pide su análisis y lee páginas públicas para medir su técnica, su seguridad y su contenido. No indexa para un buscador, no publica copias de tus páginas y no accede a áreas privadas. Esta página explica cómo reconocerlo, qué ritmo lleva y cómo bloquearlo.

Contenido

Cómo identificarlo

Se presenta siempre con este user agent. No suplanta el de ningún otro rastreador ni navegador:

User agent
MideTuWebBot/3.0 (+https://www.midetuweb.com/bot)

Identifícalo por el user agent. No publicamos una lista de direcciones IP. Si necesitas verificar una dirección concreta, escríbenos mediante hello@intervolutions.com.

Qué hace y a qué ritmo

  • Pide como máximo una página por segundo a cada servidor.
  • Analiza como máximo 15 páginas por informe.
  • Respeta robots.txt al rastrear páginas de muestra.
  • Pide siempre la portada y los ficheros públicos de control, como robots.txt, los mapas del sitio y llms.txt.
  • No inicia sesión, no rellena formularios y no accede a contenido que requiera credenciales.
  • Solo analiza el sitio cuando una persona lo solicita. No rastrea la web por su cuenta.

Cómo bloquearlo

Añade estas dos líneas a tu robots.txt para que no lea tus páginas de muestra:

robots.txt
User-agent: MideTuWebBot
Disallow: /

Para limitarlo a una parte del sitio, cambia / por la ruta que quieras proteger, por ejemplo /privado/.

robots.txtBloquear solo una parte del sitio
User-agent: MideTuWebBot
Disallow: /privado/
Disallow: /carrito/

Si no quieres un informe público

Bloquear el rastreador evita que midamos tu web, pero no elimina un informe que ya exista. Para eso, el titular del dominio puede usar la solicitud de retirada en /es/retirar.

Dudas o problemas

Si ves un comportamiento que no encaja con lo descrito, o notas una carga que te molesta, escríbenos mediante hello@intervolutions.com con la fecha, la hora y el user agent que viste. Lo revisamos.