Para administradores de sistemas
MideTuWebBot
MideTuWebBot es el rastreador de MideTuWeb. Visita una web solo cuando alguien pide su análisis y lee páginas públicas para medir su técnica, su seguridad y su contenido. No indexa para un buscador, no publica copias de tus páginas y no accede a áreas privadas. Esta página explica cómo reconocerlo, qué ritmo lleva y cómo bloquearlo.
User agent
MideTuWebBot/3.0 (+https://www.midetuweb.com/bot)- Ritmo
- 1 petición por segundo y servidor
- Páginas por informe
- Una muestra limitada; cada informe indica el tope
- robots.txt
- Respetado en páginas de muestra
- Cuándo visita
- Solo cuando alguien pide un análisis
Contenido
Cómo identificarlo
Se presenta siempre con este user agent. No suplanta el de ningún otro rastreador ni navegador:
MideTuWebBot/3.0 (+https://www.midetuweb.com/bot)Identifícalo por el user agent. No publicamos una lista de direcciones IP. Si necesitas verificar una dirección concreta, escríbenos mediante hello@intervolutions.com.
Qué hace y a qué ritmo
- Pide como máximo una página por segundo a cada servidor.
- Analiza como máximo 15 páginas por informe.
- Respeta
robots.txtal rastrear páginas de muestra. - Pide siempre la portada y los ficheros públicos de control, como
robots.txt, los mapas del sitio yllms.txt. - No inicia sesión, no rellena formularios y no accede a contenido que requiera credenciales.
- Solo analiza el sitio cuando una persona lo solicita. No rastrea la web por su cuenta.
Cómo bloquearlo
Añade estas dos líneas a tu robots.txt para que no lea tus páginas de muestra:
User-agent: MideTuWebBot
Disallow: /Para limitarlo a una parte del sitio, cambia / por la ruta que quieras proteger, por ejemplo /privado/.
User-agent: MideTuWebBot
Disallow: /privado/
Disallow: /carrito/Si no quieres un informe público
Bloquear el rastreador evita que midamos tu web, pero no elimina un informe que ya exista. Para eso, el titular del dominio puede usar la solicitud de retirada en /es/retirar.
Dudas o problemas
Si ves un comportamiento que no encaja con lo descrito, o notas una carga que te molesta, escríbenos mediante hello@intervolutions.com con la fecha, la hora y el user agent que viste. Lo revisamos.