O que é e como corrigir “Bloqueada devido a solicitação não autorizada (401)” no Google Search Console?

O erro indica que o Googlebot não conseguiu acessar a página por problemas de credenciais de autenticação. Isso significa que não haverá tentativas de rastrear a página e ela provavelmente não aparecerá nos resultados de busca.

401 é um código de status HTTP que indica que uma requisição foi mal sucedida porque não tem credenciais válidas de rastreamento. É o caso de páginas protegidas por senha, ou de servidores que bloqueiam certos IPs.

Caso você identifique que a página com este erro não deveria estar bloqueada, e quer que ela seja rastreada e indexada pelo Google, basta revisar as configurações de acesso à página. 

Esse erro pode ter consequências diretas em em SEO, especialmente quando afeta muitas páginas. Ele pode indicar configurações erradas ou impactar o crawl budget do seu site.

O que significa o erro 401 no GSC?

A descrição oficial do erro é:

O acesso do Googlebot à página foi bloqueado por uma solicitação de autorização (resposta 401). Se você quer que ele faça a indexação da página, remova os requisitos de autorização ou permita o acesso do Googlebot ao confirmar a identidade dele.

Isso significa que:

  1. O Googlebot tentou rastrear as páginas;
  2. O seu servidor pediu para o Googlebot informar suas credenciais;
  3. O Googlebot não as informou (ele nunca faz isso);
  4. Portanto, o servidor bloqueou o acesso.

Isso significa que a página não foi rastreada e muito provavelmente não será indexada também.

O número “401” é um padrão para códigos de status HTTP. Ele indica problemas de credenciais ao acessar a página. Outros códigos similares que aparecem no GSC são o 404 (conteúdo não encontrado), ou 403 (acesso proibido).

Por que acontece?

Existem várias razões para esse problema. Normalmente acontece quando se trata de um conteúdo protegido por senha ou por causa de configurações incorretas de servidor.

Em ambos os casos, a raiz do problema é a mesma: o seu site impediu o Googlebot de acessar a página. 

A página só será rastreada se você revisar essas permissões.

Como solucionar o erro “Bloqueada devido a solicitação não autorizada (401)”?

Basicamente, os caminhos para corrigir o problema são:

  • Testar o acesso: abra a URL em navegação anônima e observe como a página se comporta;
  • Verifique as configurações de autenticação: veja se está tudo certo na configuração de login e senha, por exemplo;
  • Revise restrições de acesso: veja se o seu servidor está bloqueando algum IP e certifique-se de que os endereços de IP do Googlebot não estão entre eles;
  • Revise o acesso do Googlebot: observe se não há nenhuma restrição aos user agents do Googlebot.

Recomendamos o apoio de especialistas em SEO para abordar o erro. Como diz o ditado, “cada caso é um caso”, então a visão de profissionais na área é importante para otimizar esforços e priorizar o que realmente faz diferença para o seu negócio.

Por exemplo, nem todos os sites precisam se preocupar com crawl budget. Já portais de notícia precisam de uma abordagem específica por causa dos paywalls. 

Veja abaixo algumas dicas gerais para solucionar o erro 401 do Google Search Console.

Defina quais páginas devem ser indexadas

Nem todas as páginas do seu site serão indexadas. E está tudo bem – o Google encara essa escolha como estratégica, e você deveria fazer o mesmo.

Normalmente você pode pensar nas páginas afetadas pelo status 401 da seguinte forma:

  • Algumas devem ser indexadas: é o caso de conteúdos protegidos por paywall, como na imagem abaixo. Essas páginas trazem valor ao visitante, portanto podem ser indexadas. Para isso, o Googlebot precisa acessar livremente, mas o visitante precisa de senha.
Exemplo de paywall em portal de notícia, com texto exibindo o preço de "6 meses de assinatura por R$1,90" com um botão laranja de assine agora
  • Algumas não precisam ser indexadas: áreas internas dedicadas aos colaboradores do seu site ou empresa, ou ambientes de teste, não agregam nenhum valor aos visitantes. 

Recomendamos atenção redobrada caso você tenha um site grande, com milhares de páginas. Nesses casos, você deve definir com inteligência quais páginas o Googlebot deve tentar acessar. 

Em SEO, existe um conceito chamado crawl budget, ou limite de rastreamento. O Google não consegue rastrear literalmente todas as páginas da internet, então ele define um limite para cada site.

Se o buscador perde tempo tentando acessar páginas irrelevantes, sobram menos recursos para as páginas realmente úteis. Isso não é problemático para sites pequenos, mas pode impactar os resultados de SEO dos domínios maiores.

Permita o acesso

Para as páginas que você deseja indexar, altere as configurações de servidor e permita acesso ao Googlebot. Em outras palavras, o servidor passará a tratar os rastreadores do Google de forma diferente de um visitante comum.

Recomendamos o apoio de profissionais de SEO para fazer essas configurações.

Se não for bem feito, o Google pode considerar que você está fazendo cloaking. Essa é uma técnica de spam em que donos de site mostram um conteúdo para os visitantes, outro para os rastreadores.

O Google tem algumas definições de como fazer em sua documentação de amostragem flexível.

Já este documento do Google ensina como identificar o Googlebot. Assim você confirma que está liberando o acesso ao rastreador correto.

Bloqueie o rastreamento 

Para as páginas que não devem ser indexadas, você pode impedir que elas sejam rastreadas. Faça isso se quiser otimizar seu crawl budget.

Uma das formas mais simples de fazer é usando a diretiva Disallow no arquivo robots.txt do seu site. Ela indica quais partes do seu site o Googlebot não deve visitar. 

Faça uma auditoria técnica

As dicas acima são eficientes para lidar com páginas protegidas por senha, mas às vezes o erro “Bloqueada devido a solicitação não autorizada (401)” pode acontecer devido a erros de servidor.

Nesse caso, é necessário fazer uma auditoria técnica de SEO para investigar a causa e criar um plano de ação adequado. Análises do tipo também são importantes para detectar outros problemas de SEO, muitas vezes antes de eles causarem impacto real ao seu site. 

Se precisar de apoio nessa tarefa, entre em contato conosco! Somos especialistas em SEO e temos anos de experiência ajudando sites a aprimorarem os seus aspectos técnicos. 

  • Elyson Gums

    Elyson Gums

    Jornalista e mestre em Comunicação Social. Produzo conteúdo para projetos de SEO e inbound marketing desde 2014.

Comentários

0 Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *