Crawl Budget: Como Mejorar el Presupuesto de Rastreo

Mejorar el crawl budget de tu web facilitará que Google indexe más rápido tu contenido y lo actualice cada vez que sea modificado.

En este artículo, aprenderás qué es el crawl budget, cuando debe preocuparte y las 9 mejores prácticas para optimizarlo.

¿Por qué es importante el crawl budget para SEO?

El crawl budget de google es importante porque de ello depende el rastreo e indexación de nuevas páginas o del contenido actualizado, lo que supone el primer paso para posicionarse en Google.

Tener una tasa de rastreo adecuada permitirá que tus URLs se indexen rápidamente y Google pueda saber cuándo actualizas el contenido de tus páginas.

¿Cuándo preocuparse por el presupuesto de rastreo?

Más importante que preocuparse por el tiempo de crawl budget, es preocuparse por donde se prioriza este presupuesto de rastreo, ya que lo que te interesa realmente, es que los crawlers no pierda tiempo en las URLs que no interesa.

Como menciona Google, preocuparse por el presupuesto de rastreo no es algo que deba importarle a la mayoría de sitios que no son muy grandes.

Los principales sitios que más deben prestar atención al crawl budget son:

• Sitios muy grandes (+ 1 de millón URLs)
• Sitios medianos (+10k de URLs) que se actualizan con mucha frecuencia.
• Sitios en los que existen muchas URLs marcadas en Google Search Console como “descubierta actualmente sin indexar”

Para el resto de sitios, recomendaría, aunque no sea una preocupación, igualmente aplicar la mayoría de pautas que mencionaré a continuación, con el objetivo de facilitar a Google que solo llegue a las URLs que te interesa, es decir, aquellas que aportan valor.

Por experiencia, he visto muchos casos, en los que sitios pequeños, por falta de aplicar algunas reglas básicas, como no utilizar directivas en el Robots.txt, pueden llegar a generar miles de URLs en las que desperdiciar crawl budget.

¿Cómo revisar el crawl budget en Google Search Console?

Para revisar el craw budget en Google Search Console, lo harás desde el panel de estadísticas de rastreo.

También puedes utilizar la herramienta de Inspección de URLs, para analizar una página en específico y conocer la última vez que fue rastreada por Google.

Supervisa si existen errores de rastreo

Existe un límite de la capacidad de rastreo, esto significa, que los bots de Google rastrean a una velocidad que no sobrecargue el servidor del sitio. 

Si existen errores en las respuestas del servidor, los bots, ralentizarán la velocidad de rastreo y el proceso de crawling será más lento.

Para comprobar si están existiendo errores de rastreo, accede a Google Search Console  > Ajustes > Estadísticas de rastreo  > Estado del host.

Y comprueba si existen errores, en caso de existir, como primer paso, revisa las características de tu plan de alojamiento web.

¿Cómo optimizar el crawl budget en tu sitio web?

Para mejorar el crawl budget de una web, existen diferentes buenas prácticas que puedes seguir y que detallaré a continuación.

La mejor forma de mejorar el crawl budget es controlando las páginas a las que le vas a permitir acceder a los crawlers y la prioridad de cada una.

Controlar estos aspectos técnicos, no solo será importante para optimizar el presupuesto de rastreo, sino para tener un mejor estado en cuanto al SEO técnico de la web.

Consejos para mejorar el presupuesto de rastreo: 

Google, si no le indicas lo contrario, accederá a todas las URLs y se acabará perdiendo presupuesto de rastreo donde realmente no te interesa.

Utiliza el archivo Robots.txt para prohibir todas las rutas de URLs donde no te interesa que Google acceda.

Aplica la directiva “Disallow” para crear todas las prohibiciones que te interesen para limitar las URLs a las que pueden acceder los crawlers.

El contenido duplicado desperdiciará presupuesto de rastreo, produciendo que se rastreen varias páginas con el mismo contenido, cuando realmente solo será importante una de ellas.

En ocasiones, se crea contenido duplicado al existir las mismas URLs con el protocolo http y https o existen tanto la versión con www y sin www, por ejemplo.

Screaming Frog es una de las mejores herramientas para encontrar contenido duplicado.

Rastrea tu web en Screaming y revisa las URLs que se marquen como “duplicados exactos”.

Los códigos de respuesta 301 ralentizan la carga y el rastreo, ya que Google realizará una primera solicitud para rastrear la página 301 y una segunda solicitud para rastrear la página de a la que redirige.

Peor aún es peor, cuando se crean cadenas de redireccionamiento, lo que puede suponer un exceso de solicitudes innecesarias.

Para encontrar páginas con redirecciones, también puedes hacerlo con Screaming o con la auditoría técnica de Semrush.

Mejorar la velocidad del sitio web ayudará a que Google sea más eficiente y capaz de rastrear más contenido en el mismo tiempo.

Como menciono en la guía, uno de los mejores sitios para ver si tu página tiene problemas de velocidad es en Google Search Console > Métricas Web Principales.

Ya que en esta pestaña, se muestran resultados obtenidos de la experiencia de usuarios reales.

Un mapa del sitio es un archivo donde indicarle a Google las páginas que debe rastrear de tu sitio, y un archivo que los crawlers visitan con regularidad.

Por lo tanto, mantén actualizado el sitemap de tu web y utiliza la etiqueta <lastmod>.

La etiqueta <lastmod> sirve para indicar la fecha en la que se actualizó el contenido, lo que le facilita a la hora de priorizar el rastreo a Google.

Si utilizas WordPress, por lo general, los plugins que te ayudan a crear el sitemap, por defecto, actualizan automáticamente la fecha de modificación del contenido cada vez que actualizas el contenido, por lo que no es algo que debas preocuparte.

Google prioriza el rastreo en las páginas más populares del sitio, una forma de aportar mayor prioridad a una URL es a través de la profundidad de rastreo y el número de enlaces internos que recibe.

Por lo tanto, cuanto más te interese que una URL sea rastreada, a menos clics debe situarse de la Home y cuántos más enlaces internos reciba, más probabilidades existen de que sea rastreada.

Los enlaces externos ayudan a que Google descubra tu página y aportan autoridad a la URL y sitio.

Aplicar una estrategia de Link Building aumentará el número de enlaces que recibe una página y también potenciará la relevancia de esa URL, lo que se interpretará en que sea más rastreable.

Las páginas huérfanas son URLs que no tienen ningún enlace y qué difícilmente son rastreadas.

Rastrea la web con Screaming y comprueba si existen páginas huérfanas o con 1 solo enlace.

En este caso, si son URLs importantes, incluye algunos enlaces más hacia estas páginas.

Google asigna un presupuesto de rastreo según el tamaño del sitio, la frecuencia de actualización del contenido, la calidad de sus páginas y su relevancia, en comparación con otros sitios.

Por lo tanto, publicar con regularidad hará que Google vea necesario visitar tu sitio con mayor frecuencia.

Resumen

En resumen, para mejorar el crawl budget seo de tu web, lo más importante es eliminar errores de rastreo, limitar el rastreo únicamente a las URLs que interesa que sean rastreadas y priorizar el rastreo.

Aplicando las prácticas mencionadas en el artículo para mejorar el crawl budget, mejorarás tu presupuesto de rastreo y además mejorarás el estado SEO de tu web.

Jamil Mansilla

Especialista SEO

Especialista en SEO y Marketing Digital. Apasionado de seguir aprendiendo y compartir mi conocimiento con artículos cómo este.