• Saltar a la navegación principal
  • Saltar al contenido principal

Jamil Mansilla

SEO y marketing digital

  • Inicio
  • Sobre mi
  • Blog
  • Herramientas
    • On Page SEO Checker
    • Contador de caracteres SEO
  • Contacto

Crawl Budget: Como Mejorar el Presupuesto de Rastreo

crawl budget google
Actualizado el 14 de junio de 2024 por Jamil Mansilla

Mejorar el crawl budget de tu web facilitará que Google indexe más rápido tu contenido y lo actualice cada vez que sea modificado.

En este artículo, aprenderás qué es el crawl budget, cuando debe preocuparte y las 9 mejores prácticas para optimizarlo.

Tabla de Contenidos

Toggle
  • ¿Qué es el Crawl Budget?
    • ¿Por qué es importante el crawl budget para SEO?
    • ¿Cuándo preocuparse por el presupuesto de rastreo?
  • ¿Cómo revisar el crawl budget en Google Search Console?
    • Supervisa si existen errores de rastreo
  • ¿Cómo optimizar el crawl budget en tu sitio web?
    • Robots.txt
    • Contenido duplicado
    • Códigos de respuesta 301
    • Velocidad web
    • Utiliza Sitemaps
    • Arquitectura web y enlazado interno
    • Enlaces externos
    • Páginas huérfanas
    • Frecuencia de publicación 
  • Resumen
  • Jamil Mansilla

¿Qué es el Crawl Budget?

El crawl budget o presupuesto de rastreo, es el tiempo que dedica Google a rastrear tu sitio web cada vez que es visitado por las arañas de Google.

Los crawlers, visitan periódicamente los sitios en busca de contenido nuevo o actualizado, y esta visita tiene un tiempo definido en el que los bots podrán rastrear hasta un cierto número de URLs, lo que se define como crawl budget.

¿Por qué es importante el crawl budget para SEO?

El crawl budget de google es importante porque de ello depende el rastreo e indexación de nuevas páginas o del contenido actualizado, lo que supone el primer paso para posicionarse en Google.

Tener una tasa de rastreo adecuada permitirá que tus URLs se indexen rápidamente y Google pueda saber cuándo actualizas el contenido de tus páginas.

¿Cuándo preocuparse por el presupuesto de rastreo?

Más importante que preocuparse por el tiempo de crawl budget, es preocuparse por donde se prioriza este presupuesto de rastreo, ya que lo que te interesa realmente, es que los crawlers no pierda tiempo en las URLs que no interesa.

Como menciona Google, preocuparse por el presupuesto de rastreo no es algo que deba importarle a la mayoría de sitios que no son muy grandes.

Los principales sitios que más deben prestar atención al crawl budget son:

  • Sitios muy grandes (+ 1 de millón URLs)
  • Sitios medianos (+10k de URLs) que se actualizan con mucha frecuencia.
  • Sitios en los que existen muchas URLs marcadas en Google Search Console como “descubierta actualmente sin indexar”
paginas descubiertas sin indexar

Para el resto de sitios, recomendaría, aunque no sea una preocupación, igualmente aplicar la mayoría de pautas que mencionaré a continuación, con el objetivo de facilitar a Google que solo llegue a las URLs que te interesa, es decir, aquellas que aportan valor.

Por experiencia, he visto muchos casos, en los que sitios pequeños, por falta de aplicar algunas reglas básicas, como no utilizar directivas en el Robots.txt, pueden llegar a generar miles de URLs en las que desperdiciar crawl budget.

¿Cómo revisar el crawl budget en Google Search Console?

Para revisar el craw budget en Google Search Console, lo harás desde el panel de estadísticas de rastreo.

También puedes utilizar la herramienta de Inspección de URLs, para analizar una página en específico y conocer la última vez que fue rastreada por Google.

ver ultimo rastreo

Supervisa si existen errores de rastreo

Existe un límite de la capacidad de rastreo, esto significa, que los bots de Google rastrean a una velocidad que no sobrecargue el servidor del sitio. 

Si existen errores en las respuestas del servidor, los bots, ralentizarán la velocidad de rastreo y el proceso de crawling será más lento.

Para comprobar si están existiendo errores de rastreo, accede a Google Search Console  > Ajustes > Estadísticas de rastreo  > Estado del host.

comprobar errores de rastreo

Y comprueba si existen errores, en caso de existir, como primer paso, revisa las características de tu plan de alojamiento web.

¿Cómo optimizar el crawl budget en tu sitio web?

Para mejorar el crawl budget de una web, existen diferentes buenas prácticas que puedes seguir y que detallaré a continuación.

La mejor forma de mejorar el crawl budget es controlando las páginas a las que le vas a permitir acceder a los crawlers y la prioridad de cada una.

Controlar estos aspectos técnicos, no solo será importante para optimizar el presupuesto de rastreo, sino para tener un mejor estado en cuanto al SEO técnico de la web.

Consejos para mejorar el presupuesto de rastreo: 

Robots.txt

Crea y configura tu archivo Robots.txt

Google, si no le indicas lo contrario, accederá a todas las URLs y se acabará perdiendo presupuesto de rastreo donde realmente no te interesa.

Utiliza el archivo Robots.txt para prohibir todas las rutas de URLs donde no te interesa que Google acceda.

Aplica la directiva “Disallow” para crear todas las prohibiciones que te interesen para limitar las URLs a las que pueden acceder los crawlers.

robots y crawl budget

Contenido duplicado

Revisa y controla el contenido duplicado de tu web

El contenido duplicado desperdiciará presupuesto de rastreo, produciendo que se rastreen varias páginas con el mismo contenido, cuando realmente solo será importante una de ellas.

En ocasiones, se crea contenido duplicado al existir las mismas URLs con el protocolo http y https o existen tanto la versión con www y sin www, por ejemplo.

Screaming Frog es una de las mejores herramientas para encontrar contenido duplicado.

Rastrea tu web en Screaming y revisa las URLs que se marquen como “duplicados exactos”.

detectar contenido duplicado

Códigos de respuesta 301

Controla las redirecciones y cadenas de redirecciones

Los códigos de respuesta 301 ralentizan la carga y el rastreo, ya que Google realizará una primera solicitud para rastrear la página 301 y una segunda solicitud para rastrear la página de a la que redirige.

comprobar redirecciones

Peor aún es peor, cuando se crean cadenas de redireccionamiento, lo que puede suponer un exceso de solicitudes innecesarias.

Para encontrar páginas con redirecciones, también puedes hacerlo con Screaming o con la auditoría técnica de Semrush.

Velocidad web

Mejora el wpo de tu sitio para aumentar el presupuesto de rastreo

Mejorar la velocidad del sitio web ayudará a que Google sea más eficiente y capaz de rastrear más contenido en el mismo tiempo.

Como menciono en la guía, uno de los mejores sitios para ver si tu página tiene problemas de velocidad es en Google Search Console > Métricas Web Principales.

velocidad web y crawl budget

Ya que en esta pestaña, se muestran resultados obtenidos de la experiencia de usuarios reales.

Utiliza Sitemaps

Crear y actualiza tu archivo sitemap.xml

Un mapa del sitio es un archivo donde indicarle a Google las páginas que debe rastrear de tu sitio, y un archivo que los crawlers visitan con regularidad.

Por lo tanto, mantén actualizado el sitemap de tu web y utiliza la etiqueta <lastmod>.

sitemap y crawl budget

La etiqueta <lastmod> sirve para indicar la fecha en la que se actualizó el contenido, lo que le facilita a la hora de priorizar el rastreo a Google.

Si utilizas WordPress, por lo general, los plugins que te ayudan a crear el sitemap, por defecto, actualizan automáticamente la fecha de modificación del contenido cada vez que actualizas el contenido, por lo que no es algo que debas preocuparte.

Arquitectura web y enlazado interno

Controla la estructura y enlazado de tu sitio

Google prioriza el rastreo en las páginas más populares del sitio, una forma de aportar mayor prioridad a una URL es a través de la profundidad de rastreo y el número de enlaces internos que recibe.

Por lo tanto, cuanto más te interese que una URL sea rastreada, a menos clics debe situarse de la Home y cuántos más enlaces internos reciba, más probabilidades existen de que sea rastreada.

Enlaces externos

Construye enlaces externos a tu sitio

Los enlaces externos ayudan a que Google descubra tu página y aportan autoridad a la URL y sitio.

Aplicar una estrategia de Link Building aumentará el número de enlaces que recibe una página y también potenciará la relevancia de esa URL, lo que se interpretará en que sea más rastreable.

Páginas huérfanas

Revisa y controla las páginas huérfanas de tu web

Las páginas huérfanas son URLs que no tienen ningún enlace y qué difícilmente son rastreadas.

Rastrea la web con Screaming y comprueba si existen páginas huérfanas o con 1 solo enlace.

En este caso, si son URLs importantes, incluye algunos enlaces más hacia estas páginas.

Frecuencia de publicación 

Publicar contenido con frecuencia le dará a Google motivos para visitar más tu sitio

Google asigna un presupuesto de rastreo según el tamaño del sitio, la frecuencia de actualización del contenido, la calidad de sus páginas y su relevancia, en comparación con otros sitios.

Por lo tanto, publicar con regularidad hará que Google vea necesario visitar tu sitio con mayor frecuencia.

Resumen

En resumen, para mejorar el crawl budget seo de tu web, lo más importante es eliminar errores de rastreo, limitar el rastreo únicamente a las URLs que interesa que sean rastreadas y priorizar el rastreo.

Aplicando las prácticas mencionadas en el artículo para mejorar el crawl budget, mejorarás tu presupuesto de rastreo y además mejorarás el estado SEO de tu web.

autor jamil mansilla

Jamil Mansilla

Especialista SEO

Especialista en SEO y Marketing Digital. Apasionado de seguir aprendiendo y compartir mi conocimiento con artículos cómo este.

  • Visit Twitter account (opens in a new tab)
  • Visit LinkedIn account (opens in a new tab)
  • Email

  • Servicios SEO
  • Consultor SEO Valencia
  • Mapa Web
  • Aviso legal, Política de Privacidad y Cookies
wpDiscuz