Como identificar crawlers de IA no log do servidor

O que é o GPTBot?

O GPTBot é o robô da OpenAI que rastreia a web para coletar páginas que a empresa pode usar no treinamento dos seus modelos generativos. Pela documentação dos robôs da OpenAI, bloquear o GPTBot no robots.txt indica que o conteúdo do site não deve ser usado nesse treino. O user agent completo, na leitura de 2 de novembro de 2026, é este.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

A OpenAI avisa que o número da versão pode mudar e que, ao buscar o robots.txt, o robô pode acrescentar a marca robots.txt ao user agent. Por isso o filtro de log procura o token GPTBot, nunca a string inteira.

A OpenAI usa três robôs com funções separadas. O GPTBot coleta para treino, o OAI-SearchBot mostra sites na busca do ChatGPT e o ChatGPT-User abre páginas a pedido de quem está na conversa. A própria documentação dá como exemplo bloquear o GPTBot e liberar o OAI-SearchBot, porque as duas regras do robots.txt são independentes.

O nome GPTBot também é usado por produtos de chatbot sem relação com a OpenAI, e boa parte da busca pelo termo trata deles. No log, o que identifica o robô da OpenAI é a URL openai.com/gptbot no fim do user agent e um IP dentro da lista oficial.

Três funções que o log mistura

Os robôs de IA que visitam um site cumprem três funções diferentes, e o log só serve para GEO quando elas são separadas. A primeira é coletar conteúdo para treinar modelos. A segunda é montar o índice de busca que o assistente consulta. A terceira é abrir uma página no momento em que alguém faz uma pergunta. As empresas que documentam os próprios robôs usam um user agent para cada função, com poucas exceções.

Os dois tokens, Google-Extended e Applebot-Extended, nunca aparecem no log. Eles só dizem, no robots.txt, se o conteúdo que o robô normal já coletou pode ir para treino ou embasamento.

Quem respeita o robots.txt?

Nas documentações da OpenAI, da Anthropic, da Perplexity e do Google, os robôs de treino e de índice seguem o robots.txt; os de visita a pedido do usuário são outra história. A OpenAI escreve que, por serem ações iniciadas pelo usuário, as regras do robots.txt podem não se aplicar ao ChatGPT-User. A Perplexity diz que o Perplexity-User em geral ignora o arquivo. O Google afirma o mesmo dos robôs acionados por usuário, e a Meta avisa que o meta-externalfetcher pode contornar o bloqueio. A Anthropic é a exceção na redação: diz que seus robôs respeitam o robots.txt, inclusive o Crawl-delay, e não isenta o Claude-User.

Para quem configura o bloqueio, o efeito prático é que o robots.txt controla treino e índice com alguma previsibilidade, mas não impede que uma página seja aberta durante uma conversa. A OpenAI informa que alterações no arquivo levam cerca de 24 horas para chegar aos robôs dela, e a Perplexity fala em até 24 horas.

A OpenAI informa que alterações no arquivo levam cerca de 24 horas para chegar aos robôs dela, e a Perplexity fala em até 24 horas.

Lucas Ferraz, especialista em SEO

Como separar o bot verdadeiro do falso?

Um user agent é só um texto no cabeçalho, e qualquer script pode se apresentar como GPTBot. Google, Common Crawl e Perplexity alertam para isso na própria documentação. A confirmação depende do método que cada empresa oferece.

• Lista de IPs em JSON: OpenAI, Anthropic e Perplexity publicam as faixas de cada robô. O acesso só conta como verdadeiro se o IP cair na lista do robô que o user agent declara;
• DNS reverso seguido de DNS direto: é o método documentado pelo Google para o Googlebot, pela Apple para o Applebot e pela Common Crawl para o CCBot. O nome do host precisa terminar no domínio da empresa, e o DNS direto desse nome precisa devolver o mesmo IP.

As listas oficiais em JSON, na leitura de 2 de novembro de 2026, tinham estas faixas e datas de criação.

• GPTBot: openai.com/gptbot.json, com 18 faixas IPv4, criada em 22 de setembro de 2026;
• OAI-SearchBot: openai.com/searchbot.json, com 39 faixas IPv4, criada em 2 de janeiro de 2026;
• ChatGPT-User: openai.com/chatgpt-user.json, com 235 faixas IPv4, criada em 27 de outubro de 2026;
• Robôs da Anthropic: claude.com/crawling/bots.json, com 14 faixas IPv4, criada em 20 de outubro de 2026;
• PerplexityBot: www.perplexity.ai/perplexitybot.json, com 13 faixas IPv4, criada em 28 de outubro de 2026;
• Perplexity-User: www.perplexity.ai/perplexity-user.json, com 10 faixas IPv4, criada em 28 de outubro de 2026.

As faixas mudam sem aviso, e a conferência baixa o JSON no dia da análise. A Anthropic avisa que bloquear os robôs dela por IP pode atrapalhar a leitura do robots.txt, então a lista serve para confirmar o acesso, e o bloqueio continua no robots.txt.

Um filtro inicial no log de acesso separa as linhas por user agent antes da verificação de IP.

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-externalagent|meta-webindexer|meta-externalfetcher|Google-Agent" access.log

Para o GPTBot, o passo seguinte tira os IPs das linhas filtradas e lista os que caem fora das faixas oficiais, com jq e grepcidr.

grep "GPTBot" access.log | awk '{print $1}' | sort -u > ips-gptbot.txt
curl -s https://openai.com/gptbot.json | jq -r '.prefixes[].ipv4Prefix // empty' > faixas-gptbot.txt
grepcidr -v -f faixas-gptbot.txt ips-gptbot.txt

Cada IP que sobra usou o nome GPTBot de fora das faixas que a OpenAI publica. O comando parte do formato combined do Apache e do Nginx, em que o IP é o primeiro campo. Atrás de CDN ou proxy reverso, esse campo traz o IP do intermediário, e o IP real precisa vir do cabeçalho que ele repassa.

Para a contagem por robô, o parser de log de crawlers de IA que publiquei no GitHub lê o log no formato combined e mostra, para cada robô, a quantidade de acessos, o primeiro e o último acesso e uma amostra dos caminhos, separando robôs de busca e de treino. Ele identifica o robô pelo user agent declarado e não confere IP, então a verificação acima continua necessária.

Por que o volume de rastreamento não mede recomendação?

A Cloudflare mediu, entre 19 e 26 de junho de 2025, quanto cada empresa de IA rastreia para cada visita que devolve aos sites. A razão ia de 70.900 rastreamentos por visita encaminhada na Anthropic a 0,1 para 1 na Mistral. A própria Cloudflare ressalva que aplicativos nativos não enviam o cabeçalho de origem, o que pode inflar a razão. Mesmo com a ressalva, o número mostra que muito rastreamento de treino convive com pouca visita.

Por isso leio as três funções de forma separada. O robô de treino diz pouco sobre recomendação. O robô de índice mostra quais páginas estão disponíveis para a busca do assistente. O robô que visita a pedido do usuário é o sinal de log mais próximo de uma resposta sendo montada, porque ele só aparece quando alguém fez uma pergunta que levou àquela página.

O log como terceira fonte ao lado do Search Console e do Bing

O log do servidor completa o que os relatórios das plataformas mostram, sem substituir nenhum deles. No estudo com DOI sobre citação de pequenas empresas por IA, as fontes foram o relatório de recursos de IA do Search Console e o AI Performance do Bing Webmaster Tools. O log acrescenta os assistentes que não têm painel para o dono do site, como ChatGPT, Claude e Perplexity. No benchmark de agências de GEO, 9 de 19 agências brasileiras liberavam os robôs de IA pelo nome no robots.txt, o que mostra quanto do mercado ainda não trata esses robôs como parte da configuração técnica.