Probador de robots.txt
El archivo robots.txt dice a cada rastreador qué partes de tu web puede visitar. Un error de una letra puede bloquear una sección entera o dejar abierta una que querías cerrar. Esta herramienta lee el archivo de tu web, o el que pegues, lo revisa línea a línea, te explica cada grupo y comprueba si una dirección concreta está permitida para el rastreador que elijas. Te dice qué regla decide y por qué, con las reglas oficiales del estándar.
Escribe un dominio o pega un robots.txt, indica una ruta y elige un rastreador.
¿Prefieres que lo revise un equipo? iNTERVOLUTIONS, el estudio que hace MideTuWeb, puede arreglarlo por ti.Cuéntanos tu caso (se abre intervolutions.com en una pestaña nueva)
Cómo funciona
- Escribe tu dominio o pega el contenido del archivo.
- Indica la ruta que quieres probar y elige un rastreador.
- Evaluamos las reglas como lo hacen los buscadores, según el estándar RFC 9309.
- Te mostramos el veredicto, la regla que decide, los errores del archivo y sus sitemaps.
Cómo decide un rastreador
El archivo se organiza en grupos. Cada grupo empieza con una o varias líneas User-agent y sigue con reglas Allow y Disallow. Un rastreador busca primero el grupo con su nombre; si no lo hay, usa el grupo general User-agent: *. Dentro del grupo, gana la regla que coincide con más caracteres de la ruta, y si dos empatan, gana Allow. Por eso un grupo propio sustituye por completo al general: no se suman.
Errores frecuentes
- Escribir mal una directiva, como
DissallowoUser agentsin guion: el rastreador la ignora. - Poner una dirección completa en una regla en lugar de una ruta que empieza por
/. - Dejar
Disallow: /en el grupo general tras terminar una web de pruebas. - Usar
Noindexen robots.txt: Google dejó de admitirlo en 2019. - Escribir los sitemaps con una ruta relativa: deben llevar la dirección completa.
Cómo leer el resultado
El veredicto dice si el rastreador puede pedir esa ruta y qué línea lo decide. Debajo verás la misma ruta para los buscadores habituales y cuántos rastreadores de IA del catálogo pueden leerla. Si no existe robots.txt (un error 404), todo está permitido. Si el servidor falla al servirlo, Google deja de rastrear la web hasta que vuelve a poder leerlo.
Lo que robots.txt no hace
Bloquear una ruta no la saca del buscador: si otros la enlazan, puede aparecer sin descripción. Para que una página no se indexe, déjala rastrear y usa la etiqueta noindex. Y recuerda que es una petición: los rastreadores que no respetan las normas pueden ignorarlo.
Preguntas frecuentes
Bloqueé una página en robots.txt y sigue saliendo en Google. ¿Por qué?
Porque robots.txt impide rastrear, no indexar. Si otras webs enlazan esa página, Google puede mostrarla sin descripción. Para sacarla del buscador, permite el rastreo y añade una etiqueta noindex, o protégela con contraseña.
¿Distingue mayúsculas y minúsculas?
El nombre del rastreador no. Las rutas sí: Disallow: /Privado no bloquea /privado. Escribe las rutas exactamente como aparecen en tus direcciones.
¿Qué pasa si tengo un grupo para Googlebot y otro general?
Googlebot sigue solo su grupo y no mira el general. Si quieres que también respete las reglas generales, repítelas dentro de su grupo. La herramienta te dice qué grupo se aplica en cada caso.
¿Sirve para comprobar el bloqueo de rastreadores de IA?
Sí: puedes elegir cualquiera de los rastreadores de IA del catálogo y probar una ruta. Para ver de una vez qué permite tu archivo a todos ellos, usa la herramienta de rastreadores de IA.