Crawl budget
El presupuesto de rastreo es la cantidad de páginas que un buscador visita en tu sitio en un periodo, y depende de la capacidad de tu servidor y del interés que despierta. Para una web de unos cientos de páginas, no es un problema. Lo es en tiendas, portales y medios con miles o millones de URL.
Si el rastreo se gasta en URL inútiles, como filtros infinitos, parámetros, páginas duplicadas o enlaces rotos, las nuevas o actualizadas tardan más en descubrirse. Un servidor lento también hace que el buscador reduzca el ritmo. MideTuWeb respeta, además, el ritmo de una petición por segundo.
Reduce lo que sobra: bloquea en robots.txt los filtros y búsquedas internas que no aportan, usa canonicals, elimina enlaces rotos y cadenas de redirecciones, y mantén un sitemap limpio. Mejora la velocidad del servidor. Si tu web es pequeña, dedica el tiempo a mejorar el contenido.