robots.txt: cómo funciona de verdad y los errores que bloquean tu web
El robots.txt es un fichero de texto en la raíz del dominio que dice a los rastreadores qué rutas pueden pedir. Es de las piezas más simples de una web y de las que más daño hacen en silencio: un error aquí no rompe nada visible, solo cambia lo que Google puede ver.
Qué hace (y qué no hace)
robots.txt controla el rastreo, no la indexación. La diferencia importa más de lo que parece:
- Un
Disallowimpide que Google descargue la página, pero no que la URL aparezca en los resultados. Si otras webs la enlazan, puede salir indexada sin descripción. - Para que una página no salga en Google hace falta
noindex, en una meta etiqueta o en la cabeceraX-Robots-Tag. Y Google solo lo ve si puede rastrear la página: bloquear en robots.txt una página con noindex hace que el noindex no se aplique. Noindex:dentro del robots.txt no existe para Google. Solo admite cuatro campos:user-agent,allow,disallowysitemap.Crawl-delay, por ejemplo, lo ignora.- Es una petición, no una barrera. Los rastreadores serios la respetan; un robot que no quiera hacerlo puede ignorarla. No lo uses para esconder nada privado.
El formato está estandarizado desde septiembre de 2022 en la RFC 9309, que recoge en gran parte cómo lo interpretaba Google desde hace años.
Cómo decide Google qué regla gana
Tres reglas cubren casi todos los casos:
- Grupo. Google usa solo el grupo del
User-agentmás específico que coincida con el rastreador. Si hay un grupoGooglebot, el grupo*se ignora para Googlebot: no se suman. - Regla más específica. Dentro del grupo, gana la regla cuya ruta es más larga.
- Empate. Si dos reglas en conflicto tienen la misma longitud, gana la menos restrictiva, es decir,
Allow.
Además, las rutas distinguen mayúsculas (/Fotos no es /fotos), * equivale a cualquier secuencia de caracteres y $ marca el final de la URL.
Caso real: el CSS bloqueado por una regla «más larga»
La versión anterior de MideTuWeb lo tuvo hasta el 25 de octubre de 2026. Su robots.txt decía:
User-agent: *
Disallow: /assets/
Allow: /*.css$
Allow: /*.js$La intención era clara: bloquear la carpeta, pero dejar pasar las hojas de estilo. El problema es la regla de la ruta más larga. Para /assets/css/main.css, Disallow: /assets/ tiene 8 caracteres y Allow: /*.css$ tiene 7. Gana el Disallow, y Google no podía cargar dos de las hojas de estilo del diseño. Sin ellas, renderiza la página rota y la evalúa así.
La corrección fue la más simple: quitar el Disallow: /assets/. No había nada en esa carpeta que mereciera la pena ocultar. Si de verdad necesitas bloquear una carpeta y dejar pasar una parte, escribe el Allow con una ruta más larga que el Disallow:
Disallow: /assets/
Allow: /assets/css/Bloquear parámetros: el detalle del primer parámetro
Es habitual bloquear las variantes con parámetros de campaña, que multiplican las URL sin aportar nada. Muchos robots.txt hacen esto:
Disallow: /*?utm_Y funciona… solo cuando utm_ es el primer parámetro. En /pagina?ref=x&utm_source=y no casa, porque antes de utm_ hay un &, no un ?. El robots.txt de intervolutions.com lo resolvía, y lo explicaba en un comentario, con las dos formas:
Disallow: /*?utm_
Disallow: /*&utm_Antes de copiarlo, ten en cuenta el coste. Una URL bloqueada no se rastrea, así que Google tampoco ve su canonical: si alguien te enlaza con ?utm_source=…, esa señal no se consolida en la URL limpia. Google desaconseja usar robots.txt para resolver duplicados. En una web pequeña o mediana, una canonical sin parámetros suele bastar; bloquear compensa cuando los parámetros generan un volumen de rastreo que se nota en el informe de estadísticas de rastreo de Search Console.
Qué pasa si el robots.txt falla
Google documenta con bastante precisión cómo reacciona según lo que devuelva el servidor al pedir /robots.txt:
| Respuesta | Qué hace Google |
|---|---|
| 200 | Aplica las reglas. Lo que pase de 500 KiB se ignora. |
| 4xx (salvo 429) | Como si no existiera: rastrea sin restricciones. |
| 5xx o 429 | Las primeras 12 horas deja de rastrear el sitio. Después, y hasta 30 días, usa la última versión buena que tenga guardada. Pasado ese plazo, si el resto del sitio responde, actúa como si no hubiera robots.txt. |
La consecuencia menos conocida: un robots.txt que devuelve un error 500 durante unas horas, por ejemplo tras un despliegue fallido, detiene el rastreo de toda la web. Y uno que devuelve 403 por una regla del cortafuegos equivale a no tener robots.txt.
Los errores que más vemos
1. Bloquear lo que Google necesita para renderizar
CSS, JavaScript e imágenes de la plantilla. Es el caso de arriba, y era más común cuando se recomendaba bloquear /wp-includes/ en WordPress.
2. Usar robots.txt para quitar páginas de Google
Ya lo hemos visto: si quieres que una página desaparezca de los resultados, necesita noindex y que Google pueda rastrearla para leerlo. Bloquearla produce justo lo contrario de lo que se pretende.
3. Comentarios entre las reglas
Según la RFC 9309, los comentarios y las líneas en blanco no cierran un grupo: el grupo termina cuando aparece otro User-agent después de las reglas. Algunos analizadores, en cambio, tratan una línea de comentario como si fuera una línea vacía y cierran el grupo ahí:
User-agent: *
# Rutas internas
Disallow: /privado/Google aplica ese Disallow; un analizador que corte el grupo en el comentario, no. El comprobador de la versión anterior de MideTuWeb tenía exactamente ese fallo, que se corrigió el 25 de octubre de 2026. Si dos herramientas te dan resultados distintos con el mismo fichero, sospecha del formato antes que de las reglas.
4. Un Sitemap: que no lleva a ningún sitio
La línea Sitemap: debe ser una URL completa, con protocolo y host, y puede haber varias. La versión anterior de MideTuWeb anunciaba https://midetuweb.com/sitemap.xml (sin www), que redirigía a un fichero de 0 bytes. Ambas cosas se arreglaron el 25 de octubre de 2026.
5. Copiar el robots.txt de staging a producción
El clásico Disallow: / del entorno de pruebas que llega a producción en un despliegue. Merece una comprobación automática después de cada subida.
6. Confiar en mayúsculas y minúsculas
Disallow: /Admin/ no bloquea /admin/. Los nombres de los campos (Disallow, disallow) dan igual; las rutas, no.
Rastreadores de IA
Los asistentes y buscadores con IA tienen sus propios rastreadores, cada uno con su User-agent, y tu robots.txt decide a cuáles dejas entrar. Se bloquean igual que cualquier otro: un grupo con su nombre y un Disallow. Dos advertencias: respetar el fichero es voluntario para quien rastrea, y bloquear a un rastreador de IA no es lo mismo que salir de Google. Los resúmenes con IA de la Búsqueda de Google se alimentan de lo que rastrea Googlebot, así que no hay una regla que los apague sin tocar tu presencia en la búsqueda.
Para ver de un vistazo a cuáles permite o bloquea tu fichero, usa la herramienta de rastreadores de IA. Decidir si quieres entrar o no depende de tu negocio; lo importante es que la regla diga lo que querías.
Un punto de partida razonable
No hay un robots.txt universal, pero para una web corporativa o una tienda pequeña esto suele ser suficiente:
User-agent: *
Disallow: /carrito/
Disallow: /mi-cuenta/
Disallow: /*?orden=
Disallow: /*&orden=
Sitemap: https://www.tudominio.com/sitemap.xml(Las líneas de orden= son un ejemplo de parámetro que solo reordena un listado y puede multiplicarse sin fin; cámbialo por el que genere ese problema en tu web, si lo hay.)
Fíjate en lo que no hay: ni carpetas de recursos, ni páginas que quieras sacar de Google, ni directivas que Google no entiende.
Cómo comprobar el tuyo
- Abre
https://tudominio.com/robots.txty confirma que responde 200 (o 404 si no quieres tener uno), nunca 5xx ni 403. - Pasa el fichero por el probador de robots.txt: lo valida y prueba si una URL concreta está permitida para un rastreador. Prueba una URL de cada tipo importante: una página, una hoja de estilo, una imagen y una URL con parámetros, y hazlo con Googlebot y con el grupo general
*. - Mira la sección SEO del informe de tu dominio: revisa si el robots.txt responde y se interpreta bien, si bloquea la portada o todo el sitio, y si el sitemap responde, es XML válido y lista URL.
- En Search Console, el informe de robots.txt (en Configuración) muestra la versión que Google tiene guardada y si tuvo errores al descargarla.
Fuentes: Google Search Central, cómo interpreta Google la especificación de robots.txt y meta etiqueta robots y X-Robots-Tag; RFC 9309.