Web3 robots.txt para bots IA: la guía de configuración para sitios crypto

Por qué 67% de los sitios crypto accidentalmente bloquean bots IA

Crawlux escaneó 207 sitios crypto en marzo 2026. 139 (67%) bloquean al menos un bot de búsqueda IA mayor. El bloqueo raramente es intencional. Las causas más comunes: templates de robots.txt copiados que disallow crawlers IA por default, managed rulesets a nivel CDN habilitados sin revisar la lista de bots y templates de framework (especialmente Vercel) que shippean con robots.txt restrictivo.

El costo de un bloqueo accidental es total. Un sitio que bloquea GPTBot tiene, por definición, una tasa de citas en ChatGPT de cero. Ningún schema limpio, backlinks sólidos ni buen contenido compensan un sitio inaccesible. El mecanismo es mecánico: sin rastreo no hay indexación, y sin indexación no hay cita. El comunicado de prensa complementario cubre los datos completos del escaneo.

Los 13 bots IA que los sitios crypto deberían permitir

La lista canónica actual de bots IA que los sitios crypto necesitan permitir, organizada por compañía padre. OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User. Anthropic: ClaudeBot, anthropic-ai, Claude-Web. Perplexity: PerplexityBot, Perplexity-User. Google AI Overviews y Gemini: Google-Extended. Apple Intelligence: Applebot-Extended. Common Crawl: CCBot. ByteDance Doubao: Bytespider. Meta AI: Meta-ExternalAgent.

La lista se actualiza trimestralmente. La mayoría de los equipos pasan por alto ChatGPT-User (usado cuando un usuario de ChatGPT pega un URL y le pide al modelo leerlo) y OAI-SearchBot (el crawler search-específico distinto del crawler training-data GPTBot). Ambos son necesarios para cobertura completa de citas ChatGPT.

Plantilla de ejemplo de robots.txt para Web3

El template de inicio recomendado permite los 13 bots IA mientras preserva reglas de deny específicas del sitio. Coloca en la raíz: User-agent: GPTBot, Allow: /. User-agent: OAI-SearchBot, Allow: /. User-agent: ChatGPT-User, Allow: /. User-agent: ClaudeBot, Allow: /. User-agent: anthropic-ai, Allow: /. User-agent: Claude-Web, Allow: /. User-agent: PerplexityBot, Allow: /. User-agent: Perplexity-User, Allow: /. User-agent: Google-Extended, Allow: /. User-agent: Applebot-Extended, Allow: /. User-agent: CCBot, Allow: /. User-agent: Bytespider, Allow: /. User-agent: Meta-ExternalAgent, Allow: /. Termina con: User-agent: *, Disallow: /admin/, Disallow: /internal/, Mapa del sitio: https://tudominio.com/sitemap.xml.

La plantilla viene como bloque listo para copiar y pegar en el Web3 Robots.txt Checker. La herramienta genera la versión ajustada a tu sitio específico, conservando las reglas de bloqueo que quieras mantener y añadiendo los permisos para bots de IA.

Específico de Cloudflare: qué togglear

Los managed rulesets WAF de Cloudflare incluyen una regla "AI Scrapers and Crawlers" que se habilita por default en cuentas nuevas. La regla bloquea GPTBot, ClaudeBot, PerplexityBot y varios otros en el edge. Incluso si tu robots.txt permite los bots, Cloudflare bloquea el request antes de que alcance tu servidor de origen.

El fix: abre Seguridad > WAF > Managed Rules en el dashboard Cloudflare. Encuentra la regla "AI Scrapers and Crawlers". Ponla en "Off" en lugar de "Block" o "Challenge". Si tienes preocupaciones específicas de scraper, reemplaza con reglas dirigidas usando rangos IP o strings de user-agent en lugar del managed ruleset amplio.

Cloudflare también ofrece una función "AI Audit" que permite autorizar bots específicos y bloquear otros. Es el patrón recomendado para sitios que quieren algunos bots de IA (orientados a búsqueda) pero no otros (orientados a entrenamiento). El comunicado de prensa complementario cubre ese ajuste con más detalle.

Específico de Vercel y Next.js: correcciones de plantilla

Los despliegues Vercel usando el template Next.js default shippean con un robots.txt que disallow crawlers IA. El archivo vive en /public/robots.txt o es generado por /app/robots.ts dependiendo de la versión del framework. Reemplaza el contenido con el template Web3 arriba.

Adicionalmente checa el middleware. Si tienes middleware.ts en la raíz del proyecto, asegúrate de que no intercepte user-agents de bot. Algunos templates incluyen middleware bot-blocking para "performance" que incidentalmente bloquea crawlers IA legítimos. Comenta o scopea las reglas de bot a paths específicos solamente.

Vercel también ofrece un feature "Edge Config" para config en runtime. Si lo usas para política de bot, audita las reglas actuales y remueve cualquier bloqueo de bot IA.

AWS CloudFront y otras CDN

CloudFront con AWS WAF a menudo corre el "AWS Managed Rules - Common Rule Set" el cual puede incluir patrones bot-blocking. Revisa los grupos de reglas activos y deshabilita cualquier regla que apunte a user-agents de crawler IA. Los nombres de reglas específicos cambian con los releases AWS; checa la documentación para naming actual.

Fastly, KeyCDN y Bunny CDN típicamente pasan requests de bot por default pero pueden tener reglas de origin-shield que interfieren. Checa tus access control lists a nivel edge para cualquier regla que filtre por string de user-agent.

Cómo verificar que los bots realmente pasaron

Actualizar robots.txt es necesario pero no suficiente. Los bots tienen que llegar realmente a tu servidor de origen. Hay dos métodos de verificación. Primero, revisa los logs del servidor buscando los user-agents de los bots (filtra por "GPTBot", "ClaudeBot", "PerplexityBot"). Deberías ver solicitudes de rastreo legítimas dentro de los 7 días posteriores a permitir el bot. Segundo, usa el Web3 Robots.txt Checker which attempts an actual crawl as the bot user-agent and compares the response to what robots.txt suggests.

Para sitios detrás de CDNs, el paso de verificación es especialmente importante porque la actualización de robots.txt puede no propagarse a través de cada capa edge. Algunas configuraciones CDN cachean robots.txt por horas; fuerza un purge de cache después de actualizar para asegurar que los bots vean la nueva versión en el siguiente request.

Monitorear drift

Robots.txt drift is a known failure mode. A developer updates the file as part of an unrelated deploy and accidentally removes the AI bot allowances. The Crawlux Pro AI Visibility Audit monitorea robots.txt a diario y alerta sobre cambios que afecten la política de bots. Para los equipos que prefieren el monitoreo manual, el Web3 Robots.txt Checker gratuito puede ejecutarse con un cron o mediante una GitHub Action para validar cada semana.

Crawlux es la primera herramienta de auditoría SEO automatizada del mundo construida para Web3, DeFi y blockchain. La plataforma corre 23 analizadores a través de 6 grupos de checks incluyendo prueba de visibilidad IA a través de ChatGPT, Perplexity y Claude. Tier gratuito disponible. Tiers pagados desde $25 por auditoría. Más en crawlux.com.