O acordo tácito que sustentou a web por vinte anos era simples: os buscadores rastreavam seu conteúdo e, em troca, enviavam visitas. Os crawlers de IA quebraram esse pacto. Rastreiam para treinar modelos e para responder diretamente aos usuários, muitas vezes sem devolver tráfego à fonte original. Em julho de 2025, a Cloudflare — que atua como intermediária de uma enorme parcela do tráfego da internet — decidiu intervir.

Bloqueio por padrão

A Cloudflare passou a bloquear os crawlers de IA por padrão nos novos domínios que ingressam em sua rede. Em vez de ter de descobrir e vetar cada bot manualmente, o proprietário agora decide de forma explícita se quer permitir que as empresas de IA acessem seu conteúdo. É uma mudança de filosofia: do "tudo permitido, salvo que você proíba" para o "tudo bloqueado, salvo que você autorize".

O que é 'pay per crawl'

O movimento mais ambicioso é o pay per crawl (pagamento por rastreamento), lançado em beta. A ideia é criar um mercado onde os editores possam cobrar das empresas de IA pelo acesso ao seu conteúdo. Tecnicamente, apoia-se em um código HTTP que quase ninguém usava: o 402 Payment Required. Quando um crawler de IA solicita uma página, o servidor pode responder com um 402 e suas condições; se a empresa de IA concordar em pagar, obtém o acesso.

Pela primeira vez, um editor pequeno tem uma alavanca para monetizar o rastreamento de IA sem precisar negociar contratos individuais com cada laboratório.

O que isso significa para os editores

Para quem publica conteúdo, isso abre três decisões:

• Permitir gratuitamente: aposta-se na visibilidade nas respostas de IA, mesmo sem receber cliques.
• Bloquear: protege-se o conteúdo do treinamento e das respostas que não citam a fonte.
• Cobrar: tenta-se capturar parte do valor que os modelos geram com o seu trabalho.

Não há uma resposta universal. Um veículo de notícias, uma loja e um blog pessoal têm incentivos muito distintos.

As dúvidas razoáveis

Convém analisar isso com senso crítico. O sistema só funciona se os crawlers se identificarem honestamente: um bot que falsifica seu user-agent ou que rastreia fora da Cloudflare escapa ao controle. Também não está claro que os grandes laboratórios venham a pagar de forma generalizada, nem como os preços serão definidos. É um primeiro movimento de mercado, ainda em evolução, não um sistema fechado.

O robots.txt continua sendo sua base

O pay per crawl é gerenciado pelo painel da Cloudflare, mas não substitui o robots.txt: o complementa. O seu arquivo robots.txt continua sendo a declaração pública e portátil sobre quais bots você aceita, independentemente do seu provedor de CDN. Antes de cobrar ou bloquear, vale saber exatamente como está sua configuração hoje.

Como o Spider pode ajudar

Decidir se você permite, bloqueia ou cobra os bots de IA exige saber primeiro o que eles veem quando visitam seu site. O Spider.es analisa seu domínio frente aos principais crawlers de IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended e muitos mais — e mostra, um a um, se o seu robots.txt e seus cabeçalhos lhes permitem o acesso. É o ponto de partida para decidir com critério antes de mexer na configuração da Cloudflare.