Robots & Sitemap Tester
Comprueba si existe robots.txt, qué sitemaps declara, y si una URL concreta está permitida o bloqueada según el user-agent. Útil para “Google no me indexa” y “mi sitemap no se lee”.
robots.txt
sitemaps
indexación
i
Robots.txt Tester
Descarga robots.txt, detecta sitemaps y evalúa reglas Allow/Disallow para un user-agent. Si una URL no se indexa, aquí puedes ver si el bloqueo viene del robot o de otro lado.
robots.txt
Sitemaps
Allow/Disallow
User-agent
LO QUE MIDE
Lo que reviso
Te doy el estado del robots.txt, los sitemaps declarados y, si pasas una URL, la decisión final para el user-agent indicado.
Robots status
200/404/5xx y preview del contenido
Sitemaps
extraídos del archivo robots.txt
Reglas
evaluación de Allow/Disallow
Test URL
decisión y regla que la causa
CÓMO USARLO
Cómo usarlo
Primero valida que robots.txt existe y no está roto. Luego prueba una URL concreta con el user-agent real que te interesa.
1) URL base
dominio o URL
2) User-agent
*, Googlebot, etc.
3) URL test
si sospechas bloqueo
4) Corrige
reglas y sitemaps