O que é a ferramenta Screaming Frog Log File Analyser
O Screaming Frog Log File Analyser é um software de desktop focado em SEO técnico, projetado especificamente para processar e analisar arquivos de log gerados por servidores web (como Apache, Nginx e IIS).
Diferente do famoso Screaming Frog SEO Spider — que simula o Googlebot simulando acessos “por fora” do site —, o Log File Analyser mostra a realidade de dentro do servidor. Ele filtra o ruído de acessos de usuários reais e foca 100% nas pegadas deixadas pelos robôs de busca (como o Googlebot e o Bingbot).
O que a ferramenta faz na prática?
Quando o Googlebot visita o seu site, ele deixa um registro no servidor (uma linha de log). O Log File Analyser processa milhões dessas linhas e as transforma em painéis visuais para responder a perguntas críticas de SEO:
1. Auditoria do Crawl Budget (Orçamento de Rastreamento)
A ferramenta calcula exatamente quantas requisições o Googlebot faz por dia no seu site. Com isso, você descobre se o bot está gastando recursos valiosos rastreando páginas inúteis (parâmetros de busca, caminhos de paginação infinitos ou URLs duplicadas) em vez de focar nas suas páginas de conversão.
2. Identificação de Erros de Servidor em Tempo Real
Muitas vezes, uma página parece perfeita no seu navegador, mas retorna erros intermitentes para o robô por causa de sobrecarga no servidor. A ferramenta agrupa os acessos por código de status HTTP, permitindo que você veja na hora:
- Quais URLs importantes estão retornando erros 4xx (Páginas quebradas) ou 5xx (Erros internos).
- Se o Googlebot está ficando preso em loops de redirecionamento (301/302) complexos.
3. Frequência de Rastreamento e Páginas Órfãs
Você consegue ver quais seções do site são visitadas diariamente e quais foram esquecidas pelo Google há meses. Cruzando esses dados com o seu sitemap, a ferramenta aponta páginas órfãs — páginas que estão no sitemap para serem indexadas, mas que o Googlebot nunca descobriu ou não visita porque não há links internos apontando para elas.
4. Validação Antifraude (Verificação de Googlebot)
Conforme mencionamos antes, muitos robôs maliciosos fingem ser o Googlebot alterando o User-Agent. O Log File Analyser possui uma função nativa que realiza o DNS Reverso automatizado em lote. Ele checa o IP de cada requisição e separa o que é o Googlebot real dos robôs falsos (“Spoofed Bots”) que estão apenas roubando conteúdo ou pesando no seu servidor.
Como é a interface e os dados analisados?
Ao arrastar o arquivo .log (ou arquivos compactados .gz) para dentro da ferramenta, ela organiza as informações em abas estruturadas:
| Aba / Painel | O que você analisa ali |
| Dashboard | Visão geral dos acessos por robô, volume de eventos por dia e gráficos de pizza com a distribuição dos códigos HTTP. |
| URLs | Lista completa de cada endereço acessado, exibindo a quantidade de vezes que foi visitado e o tamanho médio do arquivo baixado. |
| Response Codes | Filtro direto por respostas (200, 301, 404, 503). Essencial para caçar desperdício de rastreamento. |
| User-Agents | Separação exata por tipo de robô. Você pode isolar o comportamento do Googlebot Smartphone e compará-lo com o Googlebot Desktop para checar a paridade do Mobile-First Indexing. |
Diferença crucial de licença: A versão gratuita da ferramenta permite analisar até 1.000 linhas de log por projeto. Para sites de médio e grande porte, a licença paga é necessária para remover esse limite e permitir a importação de gigabytes de dados históricos.
