# Como identificar crawlers de IA no log do servidor URL: https://lucasferraz.com/blog/crawlers-de-ia-no-log-do-servidor/ Autor: Lucas Ferraz Publicado em: 2026-09-23 Revisado em: 2026-11-02 Os crawlers de IA aparecem no log com três funções, treino de modelo, índice de busca e visita a pedido do usuário. OpenAI, Anthropic e Perplexity usam um user agent por função; o Google usa um token sem user agent próprio. Parte dos robôs de visita pode ignorar o robots.txt. Separar as três funções torna o log útil para GEO. ## Principais pontos - A OpenAI separa GPTBot (treino), OAI-SearchBot (busca do ChatGPT) e ChatGPT-User (visita a pedido do usuário), e publica uma lista de IPs para cada um; - O GPTBot se apresenta no log como GPTBot/1.4 com a URL openai.com/gptbot no fim do user agent, e a lista oficial em openai.com/gptbot.json tinha 18 faixas IPv4 na leitura de 2 de novembro de 2026; - A Anthropic usa ClaudeBot, Claude-SearchBot e Claude-User, e a Perplexity usa PerplexityBot e Perplexity-User, segundo a documentação oficial de cada empresa; - Google-Extended e Applebot-Extended são tokens de robots.txt sem user agent próprio, então nunca aparecem no log; - OpenAI, Perplexity, Google e Meta avisam que os robôs acionados por usuário podem não seguir o robots.txt; - Em junho de 2025, a Cloudflare mediu razões entre rastreamento e visita encaminhada que iam de 70.900 para 1 na Anthropic a 0,1 para 1 na Mistral. ## O que é o GPTBot? **O GPTBot é o robô da OpenAI que rastreia a web para coletar páginas que a empresa pode usar no treinamento dos seus modelos generativos.** Pela documentação dos robôs da OpenAI, bloquear o GPTBot no robots.txt indica que o conteúdo do site não deve ser usado nesse treino. O user agent completo, na leitura de 2 de novembro de 2026, é este. ``` Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ``` A OpenAI avisa que o número da versão pode mudar e que, ao buscar o robots.txt, o robô pode acrescentar a marca `robots.txt` ao user agent. Por isso o filtro de log procura o token `GPTBot`, nunca a string inteira. A OpenAI usa três robôs com funções separadas. O GPTBot coleta para treino, o OAI-SearchBot mostra sites na busca do ChatGPT e o ChatGPT-User abre páginas a pedido de quem está na conversa. A própria documentação dá como exemplo bloquear o GPTBot e liberar o OAI-SearchBot, porque as duas regras do robots.txt são independentes. O nome GPTBot também é usado por produtos de chatbot sem relação com a OpenAI, e boa parte da busca pelo termo trata deles. No log, o que identifica o robô da OpenAI é a URL openai.com/gptbot no fim do user agent e um IP dentro da lista oficial. ## Três funções que o log mistura **Os robôs de IA que visitam um site cumprem três funções diferentes**, e o log só serve para GEO quando elas são separadas. A primeira é coletar conteúdo para treinar modelos. A segunda é montar o índice de busca que o assistente consulta. A terceira é abrir uma página no momento em que alguém faz uma pergunta. As empresas que documentam os próprios robôs usam um user agent para cada função, com poucas exceções. | Empresa | Treino | Índice de busca | Visita a pedido do usuário | Lista de IPs | |---|---|---|---|---| | OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | Um JSON por robô em openai.com | | Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | claude.com/crawling/bots.json | | Perplexity | Não declara robô de treino | PerplexityBot | Perplexity-User | Um JSON por robô em perplexity.com | | Google | Token Google-Extended, sem user agent | Googlebot, que também serve AI Overviews e AI Mode | Google-Agent | JSONs de robôs comuns, especiais e acionados por usuário | | Meta | meta-externalagent | meta-webindexer | meta-externalfetcher | Não publica | | Apple | Token Applebot-Extended, sem user agent | Applebot | Não documentado | search.developer.apple.com/applebot.json | *Os dois tokens, Google-Extended e Applebot-Extended, nunca aparecem no log. Eles só dizem, no robots.txt, se o conteúdo que o robô normal já coletou pode ir para treino ou embasamento.* ## Quem respeita o robots.txt? **Nas documentações da OpenAI, da Anthropic, da Perplexity e do Google, os robôs de treino e de índice seguem o robots.txt; os de visita a pedido do usuário são outra história.** A OpenAI escreve que, por serem ações iniciadas pelo usuário, as regras do robots.txt podem não se aplicar ao ChatGPT-User. A Perplexity diz que o Perplexity-User em geral ignora o arquivo. O Google afirma o mesmo dos robôs acionados por usuário, e a Meta avisa que o meta-externalfetcher pode contornar o bloqueio. A Anthropic é a exceção na redação: diz que seus robôs respeitam o robots.txt, inclusive o Crawl-delay, e não isenta o Claude-User. Para quem configura o bloqueio, o efeito prático é que o robots.txt controla treino e índice com alguma previsibilidade, mas não impede que uma página seja aberta durante uma conversa. A OpenAI informa que alterações no arquivo levam cerca de 24 horas para chegar aos robôs dela, e a Perplexity fala em até 24 horas.

A OpenAI informa que alterações no arquivo levam cerca de 24 horas para chegar aos robôs dela, e a Perplexity fala em até 24 horas.

Lucas Ferraz, especialista em SEO

## Como separar o bot verdadeiro do falso? **Um user agent é só um texto no cabeçalho, e qualquer script pode se apresentar como GPTBot.** Google, Common Crawl e Perplexity alertam para isso na própria documentação. A confirmação depende do método que cada empresa oferece. - **Lista de IPs em JSON:** OpenAI, Anthropic e Perplexity publicam as faixas de cada robô. O acesso só conta como verdadeiro se o IP cair na lista do robô que o user agent declara; - **DNS reverso seguido de DNS direto:** é o método documentado pelo Google para o Googlebot, pela Apple para o Applebot e pela Common Crawl para o CCBot. O nome do host precisa terminar no domínio da empresa, e o DNS direto desse nome precisa devolver o mesmo IP. As listas oficiais em JSON, na leitura de 2 de novembro de 2026, tinham estas faixas e datas de criação. - **GPTBot:** `openai.com/gptbot.json`, com 18 faixas IPv4, criada em 22 de setembro de 2026; - **OAI-SearchBot:** `openai.com/searchbot.json`, com 39 faixas IPv4, criada em 2 de janeiro de 2026; - **ChatGPT-User:** `openai.com/chatgpt-user.json`, com 235 faixas IPv4, criada em 27 de outubro de 2026; - **Robôs da Anthropic:** `claude.com/crawling/bots.json`, com 14 faixas IPv4, criada em 20 de outubro de 2026; - **PerplexityBot:** `www.perplexity.ai/perplexitybot.json`, com 13 faixas IPv4, criada em 28 de outubro de 2026; - **Perplexity-User:** `www.perplexity.ai/perplexity-user.json`, com 10 faixas IPv4, criada em 28 de outubro de 2026. As faixas mudam sem aviso, e a conferência baixa o JSON no dia da análise. A Anthropic avisa que bloquear os robôs dela por IP pode atrapalhar a leitura do robots.txt, então a lista serve para confirmar o acesso, e o bloqueio continua no robots.txt. Um filtro inicial no log de acesso separa as linhas por user agent antes da verificação de IP. ``` grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-externalagent|meta-webindexer|meta-externalfetcher|Google-Agent" access.log ``` Para o GPTBot, o passo seguinte tira os IPs das linhas filtradas e lista os que caem fora das faixas oficiais, com `jq` e `grepcidr`. ``` grep "GPTBot" access.log | awk '{print $1}' | sort -u > ips-gptbot.txt curl -s https://openai.com/gptbot.json | jq -r '.prefixes[].ipv4Prefix // empty' > faixas-gptbot.txt grepcidr -v -f faixas-gptbot.txt ips-gptbot.txt ``` Cada IP que sobra usou o nome GPTBot de fora das faixas que a OpenAI publica. O comando parte do formato combined do Apache e do Nginx, em que o IP é o primeiro campo. Atrás de CDN ou proxy reverso, esse campo traz o IP do intermediário, e o IP real precisa vir do cabeçalho que ele repassa. Para a contagem por robô, o [parser de log de crawlers de IA que publiquei no GitHub](https://github.com/LucasFerrazSEO/ai-crawler-log-parser) lê o log no formato combined e mostra, para cada robô, a quantidade de acessos, o primeiro e o último acesso e uma amostra dos caminhos, separando robôs de busca e de treino. Ele identifica o robô pelo user agent declarado e não confere IP, então a verificação acima continua necessária. ## Por que o volume de rastreamento não mede recomendação? **A Cloudflare mediu, entre 19 e 26 de junho de 2025, quanto cada empresa de IA rastreia para cada visita que devolve aos sites.** A razão ia de 70.900 rastreamentos por visita encaminhada na Anthropic a 0,1 para 1 na Mistral. A própria Cloudflare ressalva que aplicativos nativos não enviam o cabeçalho de origem, o que pode inflar a razão. Mesmo com a ressalva, o número mostra que muito rastreamento de treino convive com pouca visita. Por isso leio as três funções de forma separada. O robô de treino diz pouco sobre recomendação. O robô de índice mostra quais páginas estão disponíveis para a busca do assistente. **O robô que visita a pedido do usuário é o sinal de log mais próximo de uma resposta sendo montada**, porque ele só aparece quando alguém fez uma pergunta que levou àquela página. ## O log como terceira fonte ao lado do Search Console e do Bing **O log do servidor completa o que os relatórios das plataformas mostram**, sem substituir nenhum deles. No [estudo com DOI sobre citação de pequenas empresas por IA](/estudos/como-sistemas-de-ia-citam-sites-de-pequenas-empresas-brasileiras/), as fontes foram o relatório de recursos de IA do Search Console e o AI Performance do Bing Webmaster Tools. O log acrescenta os assistentes que não têm painel para o dono do site, como ChatGPT, Claude e Perplexity. No [benchmark de agências de GEO](/estudos/benchmark-agencias-geo-2026-09/), 9 de 19 agências brasileiras liberavam os robôs de IA pelo nome no robots.txt, o que mostra quanto do mercado ainda não trata esses robôs como parte da configuração técnica. ## Minha posição sobre o tema Leio as três funções do log separadas, porque cada uma diz algo diferente: o robô de treino pouco informa sobre recomendação, o de índice mostra o que está disponível para a busca do assistente, e o robô acionado pelo usuário é o sinal mais próximo de uma resposta sendo montada, já que só aparece quando alguém fez uma pergunta que levou àquela página. (Lucas Ferraz) ## Nota de método - **O que foi medido.** A documentação oficial dos robôs da OpenAI, da Anthropic e da Perplexity e as listas de IP em JSON publicadas para cada robô. - **Quando.** 23 de setembro de 2026 e 2 de novembro de 2026. - **Como.** Leitura das páginas oficiais de cada empresa e, em 2 de novembro de 2026, contagem das faixas IPv4 e leitura da data de criação de cada JSON no mesmo dia. - **Limitação.** As listas de IP e o número da versão no user agent mudam sem aviso, então as contagens valem para a leitura de 2 de novembro de 2026. Este texto não traz medição de tráfego em log de servidor. ## Perguntas frequentes ### Bloquear o GPTBot tira o site das respostas do ChatGPT? Não necessariamente. Pela documentação da OpenAI, o GPTBot coleta conteúdo para treino, e bloquear esse robô indica que o conteúdo do site não deve ser usado no treinamento. A presença nas respostas com busca depende do OAI-SearchBot, que tem regra própria no robots.txt, e a OpenAI avisa que mudanças no arquivo levam cerca de 24 horas para valer. ### Qual é o user agent do GPTBot? O user agent do GPTBot, na documentação da OpenAI lida em 2 de novembro de 2026, é Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. A OpenAI avisa que o número da versão pode mudar, então o filtro de log procura só o token GPTBot. O acesso é verdadeiro quando o IP está na lista oficial openai.com/gptbot.json. ### Como saber se um acesso do GPTBot ou do ClaudeBot é verdadeiro? O user agent pode ser falsificado, então a confirmação é pelo IP. OpenAI, Anthropic e Perplexity publicam listas de IPs em JSON para cada robô. Para Googlebot, Applebot e CCBot, a verificação é por DNS reverso seguido de DNS direto, que precisa devolver o mesmo IP do acesso. ### Por que o Google-Extended não aparece no log do servidor? O Google-Extended não tem user agent próprio. Pela documentação do Google, ele é um token de controle no robots.txt, e o rastreamento continua sendo feito pelos robôs normais do Google. O token decide o uso do conteúdo no treino e no embasamento do Gemini, sem efeito na inclusão ou no ranqueamento da Busca. ## Fontes - OpenAI, visão geral dos robôs da OpenAI (2026) - https://developers.openai.com/api/docs/bots - OpenAI, lista oficial de IPs do GPTBot (2026) - https://openai.com/gptbot.json - Anthropic, como os robôs da Anthropic rastreiam a web (2026) - https://support.claude.com/en/articles/8896518 - Perplexity, crawlers da Perplexity (2026) - https://docs.perplexity.ai/docs/resources/perplexity-crawlers - Google, robôs comuns do Google e token Google-Extended (2026) - https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers - Google, recursos de IA e o seu site (2025) - https://developers.google.com/search/docs/appearance/ai-features - Apple, sobre o Applebot (2026) - https://support.apple.com/en-us/119829 - Meta, crawlers da Meta (2026) - https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers - Cloudflare, razão entre rastreamento e visita encaminhada no Radar (2025) - https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/ ## Histórico deste texto - 2 de novembro de 2026: Seção nova sobre o que é o GPTBot, com o user agent completo, as listas oficiais de IP em JSON com a contagem de faixas de 2 de novembro de 2026, um comando de conferência do IP, o parser de log que publiquei e uma pergunta nova no FAQ. --- Sobre o autor: Especialista em SEO, criação de sites e Generative Engine Optimization, Lucas Ferraz é fundador da agência Lucas Ferraz SEO, sediada em Belo Horizonte, e atua desde 2007 ajudando empresas de todo o Brasil a aparecerem no Google, serem compreendidas por sistemas de inteligência artificial e transformarem buscas em oportunidades comerciais.