robots.txt
El archivo /robots.txt vive en la raíz del dominio y contiene reglas por rastreador: User-agent, Allow, Disallow y, de forma opcional, la ubicación del sitemap. Los rastreadores respetuosos lo leen antes de visitar nada. MideTuWeb también lo respeta y solo pide siempre la portada y los archivos de control.
Un error aquí puede ocultar tu web entera: un Disallow: / olvidado tras un desarrollo es un clásico. Y bloquear una página no la saca del índice: puede seguir apareciendo sin descripción si otros la enlazan. Tampoco protege información privada, porque el archivo es público.
Mantenlo corto, sin bloquear CSS ni JavaScript necesarios para renderizar, y añade la línea Sitemap:. Para evitar que una página se indexe usa noindex, y deja que se pueda rastrear para que se lea. Decide con criterio qué rastreadores de IA permites; el informe te muestra la matriz de accesos actual.