Die stillschweigende Vereinbarung, die das Web zwanzig Jahre lang getragen hatte, war einfach: Suchmaschinen crawlten deine Inhalte und schickten dir im Gegenzug Besucher. KI-Crawler haben diesen Pakt gebrochen. Sie crawlen, um Modelle zu trainieren und Nutzern direkt zu antworten — oft ohne Traffic an die ursprüngliche Quelle zurückzugeben. Im Juli 2025 entschied Cloudflare — das als Vermittler für einen enormen Teil des Internetverkehrs fungiert — einzugreifen.

Standardmäßige Blockierung

Cloudflare begann damit, KI-Crawler bei neuen Domains standardmäßig zu blockieren, die in sein Netz aufgenommen werden. Anstatt jeden Bot manuell aufspüren und sperren zu müssen, entscheidet der Websitebetreiber nun ausdrücklich, ob er KI-Unternehmen den Zugriff auf seine Inhalte erlauben möchte. Das ist ein Paradigmenwechsel: von „alles erlaubt, sofern nicht verboten" hin zu „alles gesperrt, sofern nicht ausdrücklich freigegeben".

Was ist «pay per crawl»?

Der ambitionierteste Schritt ist pay per crawl (Bezahlung pro Crawl), das als Beta gestartet wurde. Die Idee besteht darin, einen Marktplatz zu schaffen, auf dem Publisher KI-Unternehmen für den Zugriff auf ihre Inhalte bezahlen lassen können. Technisch stützt sich das System auf einen HTTP-Statuscode, den kaum jemand verwendete: den 402 Payment Required. Wenn ein KI-Crawler eine Seite anfordert, kann der Server mit einem 402 und entsprechenden Bedingungen antworten; akzeptiert das KI-Unternehmen die Zahlung, erhält es den Zugang.

Zum ersten Mal hat ein kleiner Publisher einen Hebel, um das Crawlen durch KI zu monetarisieren, ohne mit jedem Labor einzeln Verträge aushandeln zu müssen.

Was bedeutet das für Publisher?

Für alle, die Inhalte veröffentlichen, eröffnen sich drei Entscheidungsmöglichkeiten:

• Kostenlos erlauben: Du setzt auf Sichtbarkeit in KI-Antworten, auch wenn du keine Klicks erhältst.
• Blockieren: Du schützt deine Inhalte vor dem Training und vor Antworten, die dich nicht als Quelle nennen.
• Bezahlen lassen: Du versuchst, einen Teil des Wertes abzuschöpfen, den die Modelle mit deiner Arbeit erzeugen.

Eine universelle Antwort gibt es nicht. Ein Nachrichtenportal, ein Online-Shop und ein persönlicher Blog haben sehr unterschiedliche Anreize.

Berechtigte Zweifel

Ein kritischer Blick ist angebracht. Das System funktioniert nur, wenn Crawler sich ehrlich identifizieren: Ein Bot, der seinen User-Agent fälscht oder außerhalb von Cloudflare crawlt, entzieht sich jeder Kontrolle. Unklar ist auch, ob die großen Labore bereit sein werden, flächendeckend zu zahlen, und wie die Preise festgelegt werden. Es ist ein erster Schritt in Richtung eines Marktplatzes, noch im Entstehen, kein geschlossenes System.

robots.txt bleibt deine Grundlage

Pay per crawl wird über das Cloudflare-Dashboard verwaltet, ersetzt aber nicht robots.txt: Es ergänzt sie. Deine robots.txt-Datei bleibt die öffentliche, CDN-unabhängige Erklärung darüber, welche Bots du akzeptierst. Bevor du anfängst, Bots zu sperren oder zu berechnen, lohnt es sich zu wissen, wie deine Konfiguration heute genau aussieht.

Wie Spider dir hilft

Zu entscheiden, ob du KI-Bots erlaubst, blockierst oder zur Kasse bittest, setzt zunächst voraus zu wissen, was sie sehen, wenn sie deine Website besuchen. Spider.es analysiert deine Domain gegenüber den wichtigsten KI-Crawlern — GPTBot, ClaudeBot, PerplexityBot, Google-Extended und viele weitere — und zeigt dir, einen nach dem anderen, ob deine robots.txt und deine HTTP-Header ihnen Zugriff gewähren. Das ist der Ausgangspunkt für eine fundierte Entscheidung, bevor du an der Cloudflare-Konfiguration schraubst.