close

[Total: 1   Promedio: 5/5]

Un Web Crawler (también llamado Web Spider) es un programa diseñado para explorar páginas web en forma automática.

La traducción al castellano que se usa corrientemente es “recolector de páginas web” o simplemente “recolector”.

El término ‘crawling’ o ‘crawleo’ hace referencia al método o procedimiento utilizado por los motores de búsqueda de Google para clasificar e indexar todas y cada una de las páginas web existentes en la red.

¿Qué es crawling?

El Crawling es todo el recorrido que realiza una araña o crawler, cualquier bot de indexación enviado por los motores de búsqueda, con el fin de detectar, leer y analizar todo el contenido y el código que compone a una página web. Desde que comienza hasta que termina, tras haber realizado los correspondientes saltos a través de los enlaces de una web, se realizan las labores que comprenden al crawling.

Esta indexación es fundamental para la visibilidad y el posicionamiento orgánico (SEO) de tu página, ya que es lo que va a determinar qué lugar ocupará en la página de resultados tras las búsquedas de los usuarios.

El método de Google y otros buscadores para otorgar un puesto a tu página luego de las búsquedas de los usuarios (es decir, su nivel de posicionamiento orgánico o SEO) proviene de la palabra ‘crawler’, que es una de las diversas formas utilizadas para nombrar a los robots de búsqueda, como por ejemplo arañas, spiders o trepadores.

¿Qué son los crawlers?

Los crawlers, que pueden traducirse literalmente como ‘arrastradores’, son pequeños programas que viajan por la red, enviados por Google (el resto de buscadores utilizan herramientas similares) con una hoja de ruta muy clara: Encontrar todas las páginas web existentes, analizarlas en función de una fórmula o algoritmo, asignarles a cada una de ellas una posición determinada en la SERP.

Hablamos de crawlers en plural y no de crawler en singular porque existen distintos tipos de rastreadores y cada uno de ellos se encarga de analizar y puntuar una información diferente. Uno de ellos es el crawl budget, el cual asigna un tiempo específico a cada link.

Los parámetros del crawling: el gran secreto de Google

En contra de lo que puedan decir supuestos gurús del SEO y de los artículos publicados por el propio Google, donde se explican algunas cuestiones generales (de forma muy atractiva y visual) sobre los criterios de Google para posicionar las páginas luego de las búsquedas de los usuarios, la fórmula exacta del algoritmo no se conoce.

Sí se sabe que existen más de 200 variables, entre las que se encuentran:

  • El valor de los contenidos, en calidad y actualizaciones.
  • La accesibilidad y fluidez en la navegación de la página.
  • La estructura de la página.
  • La facilidad de acceso a la web por parte de los rastreadores.
  • La calidad técnica de la página, por ejemplo, su velocidad de carga o el nivel de optimización para todo tipo de dispositivos, en especial los móviles (smartphones y tablets).
  • La inexistencia de errores.

Al mismo tiempo que son de conocimiento público los aspectos más valorados por Google en cada actualización de su algoritmo, también se sabe que otros han perdido fuerza, como la inclusión directa de las keywords en los encabezados de html (metatags).

El conocimiento y estudio de estos parámetros a considerar en el SEO hace que el concepto de crawling no sea, ni mucho menos, completamente abstracto e ininteligible.

Pero su fórmula exacta, es decir, la ponderación concreta de cada una de las variables que son tenidas en cuenta por los robots, sigue siendo el gran secreto de Google, celosamente guardado por los responsables de posiblemente la compañía más importante del mundo del ámbito de internet.

Es importante subrayar que el crawling, es decir, el método para determinar el orden de la página tras los resultados de búsqueda, está en constante crecimiento, perfeccionamiento y adecuación a las nuevas tecnologías y formas de uso de internet.

Estas cada vez se decantan más por la navegación en dispositivos móviles, las búsquedas por voz y la importancia de la localización del usuario en el momento de buscar algo en la red.

Actualmente existen muchos buscadores que utilizan este sistema para incrementar sus listas de resultados de búsqueda. También existen crawlers creados con la finalidad de detectar errores que afectan e influyen negativamente en el SEO de una web.

¿Qué te pareció el artículo?