Googlebot es el robot de indexación que utiliza Google para indexar páginas web y documentos y así crear el búsqueda de Google. Existen dos tipos de rastreadores: Googlebot Desktop y Googlebot Mobile para dispositivos móviles. Ambos simulan del usuario en estos dos entornos.

Googlebot de Google

Según la propia Google en su sitio web para desarrolladores sección de SEO avanzado , "Googlebot es el nombre genérico del rastreador web de Google. Este nombre se utiliza para dos tipos diferentes de rastreadores: uno para ordenadores y otro para dispositivos móviles que simulan las acciones de un usuario en cada uno de estos entornos".

Es probable que tanto Googlebot Desktop como Googlebot Mobile indexen tu sitio web. Puedes identificar el subtipo de Googlebot consultando la cadena del agente de usuario en la solicitud.

Sin embargo, ambos tipos de rastreadores utilizan el mismo token de producto (token de agente de usuario) en el archivo robots.txt . Por lo tanto, no es posible segmentar Googlebot para smartphones o Googlebot para ordenadores mediante robots.txt.