ClaudeBot, Claude-User e Claude-SearchBot: treino ou busca?

Você quer que o Claude, o assistente de IA da Anthropic, consiga encontrar seu negócio, mas não quer ceder o conteúdo do site para treinar modelos? Essa escolha existe, porque a Anthropic usa três rastreadores com funções diferentes. Este guia mostra o que cada um faz, o que muda ao bloquear e como decidir sem prometer que liberar um robô garanta menção ou visita.

Três nomes, três funções

A página oficial da Anthropic sobre rastreamento descreve três agentes. Cada um se apresenta ao seu site com um nome, chamado de user-agent (agente de usuário):

• ClaudeBot: coleta conteúdo público que pode contribuir para o treinamento dos modelos.
• Claude-User: acessa uma página quando uma pessoa faz uma pergunta ao Claude que exige consultar a web.
• Claude-SearchBot: rastreia páginas para melhorar a relevância e a precisão dos resultados de busca do Claude.

Essa separação é a parte útil: você pode tratar o treinamento de modelos de um jeito e a busca de outro.

O que acontece quando você bloqueia cada um

Segundo a Anthropic, bloquear o ClaudeBot exclui o conteúdo futuro do site dos conjuntos de treinamento. Bloquear o Claude-User impede que o Claude busque sua página quando alguém pergunta algo, o que pode reduzir sua visibilidade nesse tipo de consulta. Bloquear o Claude-SearchBot faz o conteúdo não ser indexado para busca, com efeito parecido.

Em resumo, o primeiro está ligado ao treinamento, e os outros dois estão ligados a ser encontrado. Quem bloqueia os três de uma vez, por receio genérico de "IA", pode sair das respostas sem perceber. A mesma lógica aparece no guia sobre robots.txt e rastreadores de IA, que trata dos robôs da OpenAI e do Google.

Pense em um exemplo fictício: uma clínica de fisioterapia em Campinas publica guias de exercícios e não quer que esse material entre em treinamento de modelos. Ao mesmo tempo, quer que alguém que pergunte ao Claude "fisioterapia para dor lombar perto de mim" possa chegar à página de serviços. A clínica bloquearia só o ClaudeBot e manteria a busca acessível. Se mudar de ideia, basta remover a linha, lembrando que a Anthropic fala em conteúdo futuro: o que já foi coletado não é desfeito por essa alteração.

Como escrever as regras no robots.txt

O robots.txt é um arquivo público na raiz do site (por exemplo, seusite.com.br/robots.txt). O Google explica que ele gerencia o tráfego de rastreamento e não serve para esconder conteúdo. A Anthropic indica o padrão de uma linha User-agent com o nome do robô, seguida de Disallow: / para bloquear tudo. Para um negócio que aceita busca, mas recusa treinamento, o desenho seria:

• User-agent: ClaudeBot seguido de Disallow: /, para recusar o treinamento.
• Nenhuma regra de bloqueio para Claude-User e Claude-SearchBot, para continuar acessível à busca.

Se o seu objetivo é só reduzir a carga do servidor, a Anthropic também diz respeitar a diretiva não padronizada Crawl-delay "quando apropriado". Ela vale por subdomínio, então repita o arquivo em cada um que você use.

O bloqueio que o robots.txt não mostra

Um robô só obedece ao robots.txt se conseguir ler o arquivo. A Anthropic avisa que bloquear endereços IP pode não funcionar para o opt-out, justamente porque impede a leitura das regras. Firewalls e redes de entrega de conteúdo também podem barrar robôs de IA por padrão, como vimos em Cloudflare pode bloquear o Google junto com a IA. A Anthropic publica as faixas de IP dos seus rastreadores para verificação, não como método de bloqueio.

O processo é igual ao que descrevemos para outro buscador no guia do PerplexityBot e Perplexity-User: confira o robots.txt e depois o firewall.

Esse cuidado combina com a regra geral deste blog: confirme no dia da edição o nome dos robôs e o que a documentação diz, porque empresas de IA renomeiam e dividem rastreadores com frequência. Um guia publicado hoje pode estar desatualizado em alguns meses, e uma regra escrita para um nome antigo simplesmente deixa de ter efeito.

Passo a passo para conferir em 20 minutos

• Abra seusite.com.br/robots.txt no navegador e procure por Claude e por regras gerais como User-agent: * seguidas de Disallow: /.
• Decida sua política: aceitar treinamento ou não, aceitar busca ou não. Anote o motivo.
• Ajuste as linhas por nome de robô, sem copiar listas prontas de bloqueio total.
• Veja no painel de firewall ou de hospedagem se há regra de bloqueio automático de bots de IA.
• Guarde a data da alteração. Conferir depois se há mudança em respostas exige comparar com esse registro.

Vale ainda decidir quem cuida disso. Em muitos negócios, o robots.txt foi criado por quem montou o site, e ninguém mais o abre. Combine com essa pessoa (ou com a plataforma de hospedagem) quem pode editá-lo, peça uma cópia antes de qualquer mudança e teste depois que o arquivo continua acessível em /robots.txt. Um erro de digitação em User-agent: * pode bloquear também o Google, e isso custa muito mais do que a dúvida sobre o Claude.

O que liberar não resolve

Deixar o Claude-SearchBot e o Claude-User passarem apenas tira um obstáculo. Não define se sua página será usada, citada ou clicada. Ranking tradicional também não garante isso, como mostra o texto sobre top 10 do Google e citação na IA. Mantenha páginas claras sobre serviços, cidade e contato, e use o checklist para conferir uma citação de IA quando aparecer. Nomes, regras e opções podem mudar: releia a página oficial antes de editar o arquivo. O próprio padrão de robots.txt (RFC 9309) é voluntário: depende de o robô respeitar.