NOTÍCIAS / SEO

Google atualiza documentação de rastreadores e coletores

Em 16 de setembro, as documentações sobre rastreadores e localizadores do Google foram editadas. Agora, elas mostram informações detalhadas sobre quais produtos do Google são afetados por cada rastreador. Também há exemplos de diretivas robots.txt para cada rastreador.

Até então tudo ficava na mesma página. O novo texto traz uma introdução, com páginas separadas (e informações mais detalhadas) para cada tipo de rastreador.

Veja abaixo como esses componentes funcionam, a lista completa de rastreadores e quais produtos Google são associados a cada um.

O que são rastreadores e coletores?

Os dois termos se referem a mecanismos essenciais para o Google funcionar.

Rastreadores (robôs ou crawlers) são programas que coletam informações. Eles acessam páginas e leem seu conteúdo. Depois de rastrear os conteúdos, o Google analisa se elas são relevantes e as adiciona a um índice. A partir daí, podem ser exibidos como resultado de pesquisa no buscador, Google Imagens, Notícias, entre outros.

Coletores são programas que solicitam URLs quando instruídos por um usuário. Você pode pensar em um navegador que faz uma solicitação em nome do Google para acessar uma página.

Parte do trabalho de SEO é controlar como os sites são rastreados por cada um desses robôs. Isso é feito através de diretivas no arquivo robots.txt. Esse arquivo indica quais caminhos os robôs não podem acessar, e podem ser editados com configurações específicas para cada tipo de rastreador.

Quais são os principais tipos de rastreadores e coletores do Google?

O Google divide seus sistemas em três tipos principais:

  • Rastreadores comuns: são usados para os produtos principais do Google, como Pesquisa Orgânica e Imagens. O mais conhecido é o Googlebot. Eles são usados para rastreamento automático da web e sempre respeitam as diretivas do robots.txt;
  • Rastreadores especiais: eles são usados para produtos específicos do Google quando há algum tipo de acordo com o site rastreado. A documentação cita como exemplo o AdsBot, que ignora algumas diretivas do robots.txt, com permissão da publicadora dos anúncios;
  • Coletores acionados pelo usuário: são usados para funções de busca específicas em produtos Google, sempre que o visitante faz uma requisição. A documentação traz o exemplo do verificador de sites do Google, que funciona a partir de comandos do usuário. 

Quais são os rastreadores e coletores do Google? Eles afetam quais produtos?

A principal atualização da documentação foi especificar quais produtos são afetados pelas diretivas para cada rastreador.

Por exemplo, as instruções que você dá para o Googlebot afetam Pesquisa Orgânica, Vídeo, Google Imagens, entre vários outros produtos Google. Já as instruções para o Google StoreBot afeta a exibição de produtos no Shopping e na SERP.

As informações são apresentadas no formato abaixo, mostrando user agent do rastreador, exemplo de diretiva, e especificação de produtos influenciados por elas.

Veja a relação completa abaixo, separada por categorias.

Rastreadores comuns

  • Googlebot: as diretivas afetam Pesquisa (incluindo Discover e todos os recursos da SERP), Google Imagens, Vídeo e News;
  • Gooblebot Image: as diretivas afetam Imagens, Discover, Vídeo, e todos os recursos da Pesquisa que incluem imagens, logos e favicons;
  • Googlebot Video: as diretivas afetam afetam Vídeo e recursos de vídeo da Pesquisa do Google;
  • Googlebot News: as diretivas afetam todas as telas do Google Notícias (como a aba de Notícias da Pesquisa Orgânica e o aplicativo do Google Notícias);
  • Google StoreBot: as diretivas afetam todos os recursos do Google Shopping, incluindo a aba “Shopping” da Pesquisa Orgânica;
  • Google InspectionTool: as diretivas afetam as ferramentas de teste do Google, como a inspeção de URL no Search Console. Não tem efeito na Pesquisa nem em outros produtos;
  • GoogleOther: as diretivas não afetam nenhum produto. GoogleOther é um rastreador genérico usado por equipes de desenvolvimento do Google para pesquisa e desenvolvimento interno;
  • GoogleOther Image: as diretivas não afetam nenhum produto, assim como o GoogleOther;
  • GoogleOther Video: as diretivas não afetam nenhum produto, assim como o GoogleOther;
  • Google-CloudVertexBot: as diretivas não afetam nenhum produto Google. Influencia apenas ambientes de construção na plataforma Vertex AI;
  • Google-Extended: as diretivas não afetam nenhum produto Google em específico. O Extended é um token de produto para donos de sites gerenciarem se os seus sites ajudam a melhorar as APIs do Gemini e do Vertex AI.

Acesse a lista completa de user agents e exemplos de diretivas robots.txt.

Rastreadores especiais

  • APIs Google: as diretivas afetam a entrega de notificações push pelas APIs do Google;
  • AdsBot Mobile Web: as diretivas afetam como o Google Ads identifica a qualidade de anúncios das páginas em dispositivos móveis;
  • AdsBot: as diretivas afetam como o Google Ads identifica a qualidade de anúncios das páginas;
  • AdSense: as diretivas afetam os anúncios exibidos por sites que fazem parte do programa Google AdSense. É por meio deste rastreador que o Google exibe anúncios relevante para os visitantes das páginas;
  • Google-Safety: este rastreador ignora qualquer diretiva. Ele é acionado para lidar com casos de abuso, como descoberta de malware em links públicos no Google.

Veja as informações detalhadas sobre cada rastreador.

Coletores acionados pelo usuário

  • Feedfetcher: é usado para rastrear feeds RSS ou Atom para o GoogleNews e PubSubHubbub;
  • Google Publisher Center: processa feeds enviados por usuários para as páginas de editor do Google News;
  • Google Read Aloud: quando requisitado pelo usuário, coleta o conteúdo das páginas e lê em voz alta;
  • Google Site Verifier: coleta tokens de verificação de URLs no Google Search Console.

Acesse os detalhes sobre cada coletor do Google.

__

A documentação não inclui nenhuma informação de fato nova, mas explica em mais detalhes como cada aspecto do buscador funciona. É uma fonte interessante para entender como a pesquisa do Google funciona, e quais partes dela realmente merecem a sua atenção em um projeto de SEO.

Por aqui, seguimos acompanhando as mudanças e novidades do Google! Para não perder nada, nos siga no LinkedIn e YouTube. Também publicamos semanalmente uma newsletter e podcast.

  • Elyson Gums

    Elyson Gums

    Jornalista e mestre em Comunicação Social. Produzo conteúdo para projetos de SEO e inbound marketing desde 2014.

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Postagens relacionadas