llms.txt vs robots.txt: o que os sites crypto precisam em 2026

O que cada arquivo realmente faz

robots.txt: um arquivo de diretivas que diz aos crawlers (motores de busca, bots de IA, arquivadores) quais caminhos eles podem acessar. É um protocolo de cortesia (os crawlers o respeitam voluntariamente). Regras fixas de allow/disallow por user-agent. Tanto o Google quanto a OpenAI se comprometem publicamente a respeitá-lo.

llms.txt: um arquivo Markdown estruturado que explica seu site para os motores de IA. Como um sitemap, mas legível por humanos e voltado para IA. Lista as páginas principais, descreve o produto, aponta para recursos canônicos. Padrão proposto pela Anthropic e por Jeremy Howard em 2024.

Eles servem a camadas diferentes. O robots.txt controla o acesso. O llms.txt fornece contexto. Você precisa do acesso controlado corretamente E do contexto fornecido de forma limpa. Pular qualquer um deles custa visibilidade AEO.

Allowlist de bots de IA no robots.txt

Por padrão, a maioria dos CMSs envia um robots.txt que bloqueia bots de IA sem querer ou nem trata do assunto. Adicione diretivas Allow explícitas para os bots pelos quais você quer ser indexado.

# AI Crawlers (explicit allow)
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

A lista acima é o conjunto mínimo viável para sites crypto do mercado de língua inglesa em 2026. Adicione Bytespider (o crawler do TikTok), Amazonbot e Applebot-Extended se você atende públicos que usam os recursos de IA dessas plataformas.

Não bloqueie bots de IA com a suposição de que 'training data' é uma preocupação. Os crawlers que buscam conteúdo para citações em tempo real (PerplexityBot, ChatGPT-User, OAI-SearchBot) NÃO são os mesmos que os crawlers de treinamento (GPTBot, ClaudeBot). Bloquear os crawlers de citação te torna invisível para os mecanismos de IA. Bloquear os crawlers de treinamento é uma decisão sua porém não afeta as citações.

Estrutura e conteúdo do llms.txt

O llms.txt é Markdown puro na raiz: https://yoursite.com/llms.txt. A estrutura segue a proposta: H1 com o nome do site, blockquote com descrição de um parágrafo, depois seções de links.

# Your Protocol

> Your Protocol is a decentralized lending platform with $200M+ TVL across 5 chains. We pioneered isolation mode for risky assets.

## Core product

- [Supply markets](https://yourprotocol.com/markets/): list of all supplied assets with current APYs
- [Borrow markets](https://yourprotocol.com/borrow/): borrowing rates and collateral requirements
- [Documentation](https://docs.yourprotocol.com/): technical docs and integration guides

## Key topics

- [What is isolation mode](https://yourprotocol.com/blog/isolation-mode/)
- [How our oracle works](https://yourprotocol.com/blog/oracle-design/)
- [Segurança audits](https://yourprotocol.com/security/)

Arquivo complementar: llms-full.txt na mesma raiz. Essa é a versão long-form com o texto completo das suas páginas principais embutido. Os mecanismos de IA que seguem a spec podem buscar o llms.txt para o índice ou o llms-full.txt para conteúdo direto. Hospedamos o llms-full.txt com 14KB para a Crawlux, pequeno o suficiente para um mecanismo recuperar por completo.

Considerações específicas para crypto

Dois padrões específicos para sites crypto.

Padrão 1: declare o contrato do seu token. Se você tem um token, o llms.txt deve linkar para uma página canônica do token com o endereço do contrato. Os motores de IA usam isso ao responder 'qual é o endereço do contrato de <TOKEN>.' Sem isso, o motor chuta com base nos resultados do Etherscan, e erra em tokens com múltiplos deploys.

Padrão 2: declare as redes compatíveis. Consultas específicas de cripto ('o <protocol> suporta Solana?') são frequentes. Liste explicitamente as chains suportadas no llms.txt como uma seção. Use o conteúdo do seu llms-full.txt.

O robots.txt de um site cripto também deve bloquear /audit-report/, /checkout/, e qualquer URL com um endereço de carteira como parâmetro. URLs com endereço de carteira vazam dados de usuários para os índices de busca.

Validação e monitoramento

robots.txt validators. Google Search Console > Configurações > Testador de robots.txt. Cole uma URL e confirme que ela não está bloqueada por acidente.

llms.txt validators. O validador mantido pela comunidade em llmstxt.org. Verifica se a estrutura segue a especificação.

Live test. Pergunte ao ChatGPT 'o que o <seu site> faz' duas semanas após publicar o llms.txt. Se a resposta citar a description do seu llms.txt, o arquivo está sendo lido. Se a resposta parafrasear o h1 da sua homepage, o motor ainda não o captou.

Monitoramento de logs do servidor. Filtre seus logs de acesso por strings de User-Agent contendo GPTBot, ClaudeBot, PerplexityBot. Você deve ver hits em até 48 horas após publicar o llms.txt. Nenhum hit após uma semana indica que o arquivo não está acessível ou que sua CDN está bloqueando os bots.

Perguntas comuns