Web3 robots.txt para bots de IA: o guia de configuração para sites crypto

Por que 67% dos sites crypto bloqueiam bots de IA acidentalmente

A Crawlux escaneou 207 sites crypto em março de 2026. 139 (67%) bloqueiam pelo menos um bot de busca de IA importante. O bloqueio raramente é intencional. As causas mais comuns: templates de robots.txt copiados que fazem disallow de crawlers de IA por padrão, managed rulesets em nível de CDN habilitados sem revisar a lista de bots e templates de framework (especialmente Vercel) que shippam com robots.txt restritivo.

O custo de um bloqueio acidental é total. Um site que bloqueia o GPTBot tem, por definição, taxa de citação zero no ChatGPT. Nenhum schema limpo, backlinks fortes ou bom conteúdo compensam um site inacessível. O mecanismo é mecânico: sem rastreamento não há indexação, e sem indexação não há citação. O comunicado à imprensa complementar cobre os dados completos da varredura.

Os 13 bots de IA que os sites crypto deveriam permitir

A lista canônica atual de bots de IA que os sites crypto precisam permitir, organizada por empresa controladora. OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User. Anthropic: ClaudeBot, anthropic-ai, Claude-Web. Perplexity: PerplexityBot, Perplexity-User. Google AI Overviews e Gemini: Google-Extended. Apple Intelligence: Applebot-Extended. Common Crawl: CCBot. ByteDance Doubao: Bytespider. Meta AI: Meta-ExternalAgent.

A lista é atualizada trimestralmente. A maioria das equipes ignora o ChatGPT-User (usado quando um usuário do ChatGPT cola um link e pede ao modelo que o leia) e o OAI-SearchBot (o crawler search-específico distinto do crawler training-data GPTBot). Os dois são necessários para cobertura completa de citações do ChatGPT.

Template de robots.txt Web3 de amostra

O template inicial recomendado permite os 13 bots de IA enquanto preserva regras de deny específicas do site. Coloque na raiz: User-agent: GPTBot, Allow: /. User-agent: OAI-SearchBot, Allow: /. User-agent: ChatGPT-User, Allow: /. User-agent: ClaudeBot, Allow: /. User-agent: anthropic-ai, Allow: /. User-agent: Claude-Web, Allow: /. User-agent: PerplexityBot, Allow: /. User-agent: Perplexity-User, Allow: /. User-agent: Google-Extended, Allow: /. User-agent: Applebot-Extended, Allow: /. User-agent: CCBot, Allow: /. User-agent: Bytespider, Allow: /. User-agent: Meta-ExternalAgent, Allow: /. Termine com: User-agent: *, Disallow: /admin/, Disallow: /internal/, Mapa do site: https://seudominio.com/sitemap.xml.

O template vem como bloco pronto para copiar e colar no Web3 Robots.txt Checker. A ferramenta gera a versão ajustada ao seu site específico, preservando as regras de bloqueio que você quer manter e adicionando as permissões para bots de IA.

Específico do Cloudflare: o que togglear

Os managed rulesets WAF do Cloudflare incluem uma regra "AI Scrapers and Crawlers" que vem habilitada por padrão em contas novas. A regra bloqueia GPTBot, ClaudeBot, PerplexityBot e vários outros no edge. Mesmo que seu robots.txt permita os bots, o Cloudflare bloqueia o request antes que ele alcance seu servidor de origem.

A correção: abra Security > WAF > Managed Rules no dashboard do Cloudflare. Encontre a regra "AI Scrapers and Crawlers". Coloque-a em "Off" em vez de "Block" ou "Challenge". Se você tem preocupações específicas com scrapers, substitua por regras direcionadas usando ranges de IP ou strings de user-agent em vez do managed ruleset amplo.

A Cloudflare também oferece o recurso "AI Audit", que permite liberar bots específicos e bloquear outros. É o padrão recomendado para sites que querem alguns bots de IA (focados em busca), mas não outros (focados em treinamento). O comunicado à imprensa complementar cobre essa opção com mais detalhes.

Específico do Vercel e Next.js: correções de template

Os deploys Vercel usando o template Next.js default shippam com um robots.txt que faz disallow de crawlers de IA. O arquivo vive em /public/robots.txt ou é gerado por /app/robots.ts dependendo da versão do framework. Substitua o conteúdo pelo template Web3 acima.

Além disso, verifique o middleware. Se você tem middleware.ts na raiz do projeto, garanta que ele não intercepte user-agents de bot. Alguns templates incluem middleware bot-blocking para "performance" que incidentalmente bloqueia crawlers de IA legítimos. Comente ou limite as regras de bot apenas a paths específicos.

O Vercel também oferece um feature "Edge Config" para config em runtime. Se você o usa para política de bot, audite as regras atuais e remova qualquer bloqueio de bot de IA.

AWS CloudFront e outros CDNs

O CloudFront com AWS WAF frequentemente roda o "AWS Managed Rules - Common Rule Set", que pode incluir padrões bot-blocking. Revise os grupos de regras ativos e desabilite qualquer regra que aponte para user-agents de crawler de IA. Os nomes de regras específicos mudam com os releases da AWS; confira a documentação para o naming atual.

Fastly, KeyCDN e Bunny CDN normalmente deixam passar requests de bot por padrão, porém podem ter regras de origin-shield que interferem. Confira suas access control lists em nível edge para qualquer regra que filtre por string de user-agent.

Como verificar se os bots realmente passaram

Atualizar o robots.txt é necessário, mas não suficiente. Os bots precisam realmente chegar ao seu servidor de origem. São dois métodos de verificação. Primeiro, verifique os logs do servidor procurando os user-agents dos bots (filtre por "GPTBot", "ClaudeBot", "PerplexityBot"). Você deve ver requisições de rastreamento legítimas em até 7 dias após liberar o bot. Segundo, use o Web3 Robots.txt Checker which attempts an actual crawl as the bot user-agent and compares the response to what robots.txt suggests.

Para sites atrás de CDNs, o passo de verificação é especialmente importante porque a atualização do robots.txt pode não se propagar por todas as camadas edge. Algumas configurações de CDN cacheiam o robots.txt por horas; force um purge de cache depois de atualizar para garantir que os bots vejam a nova versão no próximo request.

Monitorar drift

Drift no robots.txt é um failure mode conhecido. Um desenvolvedor atualiza o arquivo como parte de um deploy não relacionado e acidentalmente remove as permissões de bot de IA. A AI Visibility Audit da Crawlux Pro monitora o robots.txt diariamente e alerta sobre mudanças que afetam a política de bots. Para equipes que preferem monitoramento manual, o Web3 Robots.txt Checker gratuito pode ser rodado em um cron ou via uma GitHub Action para validar semanalmente.

A Crawlux é a primeira ferramenta de auditoria SEO automatizada do mundo construída para Web3, DeFi e blockchain. A plataforma roda 23 analisadores em 6 grupos de checks, incluindo teste de visibilidade IA via ChatGPT, Perplexity e Claude. Tier gratuito disponível. Tiers pagos a partir de $25 por auditoria. Mais em crawlux.com.