Referência
Robôs de IA: quem visita o seu site e para quê
Revisado em 11/11/2026 com a documentação oficial de cada empresa · Por CONCORDY TECH
Resposta curta
Para aparecer nas respostas de IA, libere os robôs de busca e de busca com IA. Bloquear robôs de treinamento é uma decisão à parte e não tira o site da busca dessas IAs. Atenção ao Google-Extended: segundo o Google, ele decide o uso do conteúdo no Gemini, tanto no treino quanto nas respostas do app, sem mudar o Google Busca.
Buscadores
Montam os índices de busca. Sem eles, o site some do Google, do Bing e das IAs que usam esses índices.
| Robô | Empresa | Para que serve | Documentação |
|---|---|---|---|
Googlebot | Google Busca, AI Overviews e AI Mode | oficial | |
Bingbot | Microsoft | Bing e Copilot; o índice do Bing também abastece outros buscadores | oficial |
Applebot | Apple | Siri, Spotlight e sugestões do Safari | oficial |
Busca com IA
Leem o site para que ele possa ser citado como fonte nas respostas.
| Robô | Empresa | Para que serve | Documentação |
|---|---|---|---|
OAI-SearchBot | OpenAI | Busca do ChatGPT: permite que o site apareça como fonte nas respostas | oficial |
Claude-SearchBot | Anthropic | Busca do Claude: indexa páginas para respostas com fontes | oficial |
PerplexityBot | Perplexity | Índice de busca do Perplexity | oficial |
Google-Extended | Controle do Gemini: treino e respostas do app Gemini com a Busca; não altera o Google Busca | oficial | |
DuckAssistBot | DuckDuckGo | Respostas com IA do DuckDuckGo | oficial |
Acesso pedido pelo usuário
Só aparecem quando alguém pede a uma IA para abrir a sua página. A OpenAI informa que as regras do robots.txt podem não valer para o ChatGPT-User, porque a visita é um pedido do usuário.
| Robô | Empresa | Para que serve | Documentação |
|---|---|---|---|
ChatGPT-User | OpenAI | Abre uma página quando alguém pede ao ChatGPT | oficial |
Claude-User | Anthropic | Abre uma página quando alguém pede ao Claude | oficial |
Perplexity-User | Perplexity | Abre uma página quando alguém pede ao Perplexity | oficial |
Treinamento de IA
Coletam conteúdo para treinar modelos. Bloquear não tira o site da busca com IA; liberar pode ajudar a marca a ser conhecida pelos modelos.
| Robô | Empresa | Para que serve | Documentação |
|---|---|---|---|
GPTBot | OpenAI | Coleta conteúdo para treinar os modelos da OpenAI | oficial |
ClaudeBot | Anthropic | Coleta conteúdo para treinar os modelos da Anthropic | oficial |
Applebot-Extended | Apple | Controle do uso do conteúdo no treino dos modelos da Apple | oficial |
Meta-ExternalAgent | Meta | Coleta conteúdo para modelos de IA da Meta | oficial |
CCBot | Common Crawl | Arquivo aberto da web usado para treinar muitos modelos | oficial |
Exemplo de robots.txt para aparecer nas IAs
# Busca e busca com IA liberadas
User-agent: *
Allow: /
# Opcional: bloquear só o treinamento de IA
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /
Sitemap: https://suaempresa.com.br/sitemap.xmlO robots.txt é um pedido, não uma tranca
Os robôs dessas empresas seguem o robots.txt. Para barrar de verdade é preciso firewall. O problema mais comum é o contrário: muitos sites bloqueiam robôs de IA sem saber, por uma opção do firewall ou da CDN. O Raio-X mostra o que o seu robots.txt libera e se o firewall responde diferente para esses robôs.