Crawler ou rastreador é o programa que os motores de busca usam para rastrear a web. Os bots visitam páginas da web para coletar informações e adicionar ou atualizar o índice de um mecanismo de pesquisa.
Também são conhecidos como Bot, Spider, Web Crawler

Crawling ou Rastreamento

O processo de coleta de informações, usando um rastreador, de bilhões de páginas da web públicas para atualizar, adicionar e organizar páginas da web em um índice de mecanismo de pesquisa.

Rastreamento: o processo pelo qual os mecanismos de pesquisa descobrem suas páginas da web.

Diretivas de rastreamento

Instruções para o rastreador sobre o que você deseja rastrear e indexar em seu site.

Crawl Budget

O “orçamento de rastreio” é o número total de URLs que os mecanismos de pesquisa podem e desejam rastrear em um site durante um período de tempo específico.

Crawl Error

URLs que um bot de mecanismo de pesquisa não consegue rastrear. URLs que retornam um erro de código de status, geralmente 404.