Googlebot é o robô indexador usado pelo Google para indexar páginas e documentos da web para construir um índice de buscas para o Google Search. Existem dois tipos de rastreadores: o Googlebot Desktop e o Googlebot Mobile para dispositivos móveis. Ambos simulam a ação dos usuários nesses dois ambientes.
Googlebot por Google
Segundo o próprio Google em seu site para desenvolvedores na sessão sobre SEO Avançado, temos que o “Googlebot é o nome genérico do rastreador da Web do Google. Esse nome é usado para dois tipos diferentes de rastreadores: um rastreador para computadores e outro para dispositivos móveis que simulam a ação de um usuário em cada um desses ambientes.”
Seu site provavelmente será rastreado pelo Googlebot Desktop e pelo Googlebot Mobile. Você pode identificar o subtipo do Googlebot observando a string do user agent na solicitação.
No entanto, os dois tipos de rastreador obedecem ao mesmo token de produto (token do user agent) no robots.txt. Por isso, não é possível segmentar seletivamente o Googlebot para smartphones nem o Googlebot para computadores com o robots.txt.