El acuerdo tácito que sostuvo la web durante veinte años era sencillo: los buscadores rastreaban tu contenido y, a cambio, te enviaban visitas. Los crawlers de IA han roto ese pacto. Rastrean para entrenar modelos y para responder directamente a los usuarios, muchas veces sin devolver tráfico a la fuente original. En julio de 2025, Cloudflare —que actúa como intermediario de una porción enorme del tráfico de internet— decidió intervenir.

Bloqueo por defecto

Cloudflare empezó a bloquear a los crawlers de IA por defecto en los dominios nuevos que se incorporan a su red. En lugar de tener que descubrir y vetar cada bot manualmente, ahora el propietario decide de forma explícita si quiere permitir que las empresas de IA accedan a su contenido. Es un cambio de filosofía: del «todo permitido salvo que lo prohíbas» al «todo bloqueado salvo que lo autorices».

Qué es «pay per crawl»

El movimiento más ambicioso es pay per crawl (pago por rastreo), lanzado en beta. La idea es crear un mercado donde los editores puedan cobrar a las empresas de IA por acceder a su contenido. Técnicamente se apoya en un código HTTP que casi nadie usaba: el 402 Payment Required. Cuando un crawler de IA pide una página, el servidor puede responder con un 402 y unas condiciones; si la empresa de IA acepta pagar, obtiene el acceso.

Por primera vez, un editor pequeño tiene una palanca para monetizar el rastreo de IA sin negociar contratos individuales con cada laboratorio.

Qué significa para los editores

Para quien publica contenido, esto abre tres decisiones:

• Permitir gratis: apuestas por visibilidad en las respuestas de IA, aunque no recibas clics.
• Bloquear: proteges tu contenido del entrenamiento y de las respuestas que no te citan.
• Cobrar: intentas capturar parte del valor que los modelos generan con tu trabajo.

No hay una respuesta universal. Un medio de noticias, una tienda y un blog personal tienen incentivos muy distintos.

Las dudas razonables

Conviene mirarlo con sentido crítico. El sistema solo funciona si los crawlers se identifican honestamente: un bot que falsea su user-agent o que rastrea desde fuera de Cloudflare se escapa del control. Tampoco está claro que los grandes laboratorios vayan a pagar de forma generalizada, ni cómo se fijarán los precios. Es un primer movimiento de mercado, todavía en evolución, no un sistema cerrado.

robots.txt sigue siendo tu base

Pay per crawl se gestiona desde el panel de Cloudflare, pero no sustituye a robots.txt: lo complementa. Tu fichero robots.txt sigue siendo la declaración pública y portable de qué bots aceptas, independientemente de tu proveedor de CDN. Antes de cobrar o bloquear, conviene saber exactamente cómo está hoy tu configuración.

Cómo te ayuda Spider

Decidir si permites, bloqueas o cobras a los bots de IA exige primero saber qué ven ellos cuando visitan tu web. Spider.es analiza tu dominio frente a los principales crawlers de IA —GPTBot, ClaudeBot, PerplexityBot, Google-Extended y muchos más— y te muestra, uno a uno, si tu robots.txt y tus cabeceras les permiten el paso. Es el punto de partida para decidir con criterio antes de tocar la configuración de Cloudflare.