Il patto tacito che ha retto il web per vent'anni era semplice: i motori di ricerca scansionavano i tuoi contenuti e, in cambio, ti inviavano visite. I crawler di IA hanno rotto quell'accordo. Scansionano per addestrare modelli e per rispondere direttamente agli utenti, spesso senza restituire traffico alla fonte originale. Nel luglio 2025, Cloudflare — che funge da intermediario per una fetta enorme del traffico internet — ha deciso di intervenire.

Blocco per impostazione predefinita

Cloudflare ha iniziato a bloccare per default i crawler di IA sui nuovi domini che si uniscono alla sua rete. Invece di dover scoprire e vietare ogni bot manualmente, ora il proprietario decide in modo esplicito se vuole consentire alle aziende di IA di accedere ai propri contenuti. È un cambiamento di filosofia: dal «tutto permesso a meno che non lo vieti» al «tutto bloccato a meno che non lo autorizzi».

Cos'è il «pay per crawl»

La mossa più ambiziosa è il pay per crawl (pagamento per crawl), lanciato in beta. L'idea è creare un mercato in cui gli editori possano far pagare alle aziende di IA l'accesso ai propri contenuti. Tecnicamente si basa su un codice HTTP che quasi nessuno utilizzava: il 402 Payment Required. Quando un crawler di IA richiede una pagina, il server può rispondere con un 402 e delle condizioni; se l'azienda di IA accetta di pagare, ottiene l'accesso.

Per la prima volta, un piccolo editore dispone di una leva per monetizzare la scansione IA senza dover negoziare contratti individuali con ogni laboratorio.

Cosa significa per gli editori

Per chi pubblica contenuti, questo apre tre possibilità:

• Permettere gratuitamente: punti sulla visibilità nelle risposte dell'IA, anche senza ricevere clic.
• Bloccare: proteggi i tuoi contenuti dall'addestramento e dalle risposte che non ti citano.
• Far pagare: cerchi di catturare parte del valore che i modelli generano con il tuo lavoro.

Non esiste una risposta universale. Una testata giornalistica, un negozio e un blog personale hanno incentivi molto diversi.

I dubbi legittimi

Vale la pena guardarlo con occhio critico. Il sistema funziona solo se i crawler si identificano onestamente: un bot che falsifica il proprio user-agent o che effettua la scansione al di fuori di Cloudflare sfugge al controllo. Non è nemmeno chiaro che i grandi laboratori accetteranno di pagare in modo generalizzato, né come verranno fissati i prezzi. È una prima mossa di mercato, ancora in evoluzione, non un sistema chiuso e definitivo.

robots.txt rimane la tua base

Il pay per crawl si gestisce dal pannello di Cloudflare, ma non sostituisce robots.txt: lo integra. Il tuo file robots.txt rimane la dichiarazione pubblica e portabile di quali bot accetti, indipendentemente dal tuo provider CDN. Prima di far pagare o bloccare, conviene sapere esattamente com'è configurato il tuo sito oggi.

Come ti aiuta Spider

Decidere se permettere, bloccare o far pagare i bot di IA richiede prima di sapere cosa vedono quando visitano il tuo sito. Spider.es analizza il tuo dominio rispetto ai principali crawler di IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended e molti altri — e ti mostra, uno per uno, se il tuo robots.txt e le tue intestazioni li autorizzano. È il punto di partenza per decidere con criterio prima di toccare la configurazione di Cloudflare.