Un rastreador web es un programa que los motores de búsqueda utilizan para explorar la web . Estos programas visitan las páginas web para recopilar información y añadirla o actualizarla al índice del motor de búsqueda.
También se les conoce como bots, arañas o rastreadores web.

Reptar o rastrear

El proceso de recopilar información, utilizando un rastreador web, de miles de millones de páginas web públicas para actualizar, agregar y organizar páginas web en un de búsqueda .

Rastreo: el proceso mediante el cual los motores de búsqueda descubren sus páginas web.

Directrices de seguimiento

Instrucciones para el rastreador sobre qué desea rastrear e indexar en su sitio web.

Presupuesto de arrastre

El "presupuesto de rastreo" es el número total de URL que los motores de búsqueda pueden y quieren rastrear en un sitio web durante un período de tiempo específico.

Error de rastreo

URL que un robot de motor de búsqueda no puede indexar. URL que devuelven un código de estado de error, generalmente 404.