Le pacte tacite qui a soutenu le web pendant vingt ans était simple : les moteurs de recherche crawlaient votre contenu et, en échange, vous envoyaient des visites. Les crawlers d'IA ont rompu ce contrat. Ils crawlent pour entraîner des modèles et répondre directement aux utilisateurs, le plus souvent sans renvoyer de trafic vers la source originale. En juillet 2025, Cloudflare — qui agit comme intermédiaire pour une part considérable du trafic internet — a décidé d'intervenir.

Blocage par défaut

Cloudflare a commencé à bloquer les crawlers d'IA par défaut sur les nouveaux domaines rejoignant son réseau. Au lieu de devoir identifier et bannir chaque bot manuellement, le propriétaire du site décide désormais explicitement s'il souhaite autoriser les entreprises d'IA à accéder à son contenu. C'est un changement de philosophie : du « tout autorisé sauf interdiction » au « tout bloqué sauf autorisation ».

Qu'est-ce que le « pay per crawl » ?

Le mouvement le plus ambitieux est le pay per crawl (paiement par crawl), lancé en bêta. L'idée est de créer un marché où les éditeurs peuvent facturer les entreprises d'IA pour l'accès à leur contenu. Techniquement, il repose sur un code HTTP que presque personne n'utilisait : le 402 Payment Required. Lorsqu'un crawler d'IA demande une page, le serveur peut répondre par un 402 accompagné de conditions ; si l'entreprise d'IA accepte de payer, elle obtient l'accès.

Pour la première fois, un petit éditeur dispose d'un levier pour monétiser le crawl d'IA sans négocier des contrats individuels avec chaque laboratoire.

Ce que cela signifie pour les éditeurs

Pour quiconque publie du contenu, cela ouvre trois choix :

• Autoriser gratuitement : vous misez sur la visibilité dans les réponses des IA, même sans recevoir de clics.
• Bloquer : vous protégez votre contenu de l'entraînement et des réponses qui ne vous citent pas.
• Faire payer : vous tentez de capturer une partie de la valeur que les modèles génèrent à partir de votre travail.

Il n'y a pas de réponse universelle. Un média d'information, une boutique en ligne et un blog personnel n'ont pas les mêmes motivations.

Les doutes légitimes

Il convient d'aborder cela avec un regard critique. Le système ne fonctionne que si les crawlers s'identifient honnêtement : un bot qui falsifie son user-agent ou qui crawle depuis l'extérieur de Cloudflare échappe à tout contrôle. Il n'est pas non plus certain que les grands laboratoires acceptent de payer de façon généralisée, ni comment les prix seront fixés. C'est un premier mouvement de marché, encore en évolution — pas un système abouti.

robots.txt reste votre base

Le pay per crawl se gère depuis le tableau de bord Cloudflare, mais il ne remplace pas robots.txt : il le complète. Votre fichier robots.txt reste la déclaration publique et portable indiquant quels bots vous acceptez, indépendamment de votre fournisseur de CDN. Avant de faire payer ou de bloquer, il est utile de savoir exactement où en est votre configuration aujourd'hui.

Comment Spider peut vous aider

Décider d'autoriser, de bloquer ou de facturer les bots d'IA exige d'abord de savoir ce qu'ils voient lorsqu'ils visitent votre site. Spider.es analyse votre domaine face aux principaux crawlers d'IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended et bien d'autres — et vous indique, un par un, si votre robots.txt et vos en-têtes leur ouvrent la voie. C'est le point de départ pour décider en connaissance de cause avant de toucher à la configuration de Cloudflare.