Bislang musste ein Herausgeber, der seine Inhalte vom KI-Training ausschließen wollte, dies jedem KI-Unternehmen einzeln mitteilen – und zwar in der vom jeweiligen Unternehmen gewünschten Form. OpenAI, Google, Microsoft und Anthropic erklären nun, dass sie ein einziges Signal in robots.txt unterstützen werden, das sie alle auf einmal erreicht. Der Haken ist der Zeitplan. Eines der vier Unternehmen hat die Umsetzung abgeschlossen, die übrigen haben Pläne.
Ein Signal statt eines pro Unternehmen
Der Vorschlag stammt von Kevin Kelly, einem technischen Spezialisten bei Anthropic, der an Standards arbeitet, und durchläuft derzeit den Standardisierungsprozess der IETF. Das Grundprinzip des Mechanismus ist einfach. Ein Website-Betreiber fügt robots.txt ein gemeinsames Signal hinzu, und jeder teilnehmende KI-Anbieter interpretiert es als Wunsch des Betreibers hinsichtlich der Nutzung für das Training.
Robots.txt ist ein altbewährtes Werkzeug. Websites nutzen es seit Langem, um Suchmaschinen-Crawlern und anderen automatisierten Systemen mitzuteilen, was sie abrufen dürfen und was nicht. Was fehlte, war eine einheitliche Möglichkeit, „nicht für das Modelltraining“ zu sagen. Deshalb mussten Betreiber dies für jedes KI-Unternehmen gesondert festlegen.
Alle vier Unternehmen erklären, dass ihre KI-Crawler sich von einer Website fernhalten werden, wenn sie das neue Signal erkennen. Der Bericht nennt weder die genaue Direktive noch ihre Syntax. Diese Details müssen also aus dem Standard selbst hervorgehen.
Wer wann liefert
Die Unterstützung wird nicht überall gleichzeitig eingeführt, und ein genauer Blick auf den Zeitplan lohnt sich.
| Unternehmen | Status |
|---|---|
| Anthropic | Unterstützung bereits implementiert |
| OpenAI | Für die kommenden Monate geplant |
| Für 2027 geplant | |
| Microsoft | Für 2027 geplant |
Das Unternehmen, das den Standard vorgeschlagen hat, hat ihn also bereits implementiert, während zwei der vier Unternehmen noch bis nächstes Jahr brauchen werden. Ein Herausgeber, der das Signal heute hinzufügt, äußert damit einen Wunsch, den vorerst nur eines der vier Unternehmen mit Sicherheit zur Kenntnis nimmt.
Microsoft ergänzt eine zweite Stellschraube
Microsoft will nach eigenen Angaben eine feinere Steuerung ermöglichen, als sie das gemeinsame Signal allein bietet. Herausgeber werden die Nutzung ihrer Inhalte für das Training unabhängig von der Nutzung für Grounding untersagen können. Bei Grounding ruft ein Modell während der Erstellung einer Antwort verifizierte Informationen aus externen Quellen ab.
Damit sind unterschiedliche Zugeständnisse verbunden. Beim Training werden Inhalte in das Modell übernommen. Beim Grounding werden sie in dem Moment abgerufen, in dem jemand eine Frage stellt. Ein Herausgeber kann gute Gründe haben, das Erste abzulehnen und das Zweite zu tolerieren – oder umgekehrt.
Microsoft erklärt außerdem, dass Websites unabhängig von ihrer Entscheidung weiterhin in den Suchergebnissen von Bing erscheinen werden. Ein Ausschluss der KI-Nutzung bedeutet nicht, aus der Suche zu verschwinden.
Google bietet bereits etwas Ähnliches. Mit den bestehenden Einstellungen lässt sich steuern, wie Inhalte in den KI-Funktionen der Suche und beim Modelltraining verwendet werden – ebenfalls ohne dass eine Website dadurch ihren Platz in den regulären Suchergebnissen verliert.
Meta antwortet mit einem höflichen Vielleicht
Nicht jeder große KI-Entwickler hat sich festgelegt. Meta-Sprecher Andy Stone unterstützte die Idee eines gemeinsamen Mechanismus und erklärte, das Unternehmen sei bereit, mit anderen KI-Entwicklern am Standard und an dessen Einführung zu arbeiten. Er ließ jedoch offen, ob Meta sich tatsächlich an die Verbote halten wird.
Das ist eine vorsichtige Formulierung. Einen gemeinsamen Mechanismus zu unterstützen und zu versprechen, ihn zu beachten, sind zwei verschiedene Dinge. Nur das Zweite hält einen Crawler von Ihren Seiten fern.
Was das Signal nicht leistet
Das neue Signal allein bietet keinen Schutz vor Crawlern von Unternehmen, die es nicht unterstützen oder sich nicht daran halten. Seine Wirkung beruht auf der Bereitschaft jedes einzelnen Unternehmens, es zu befolgen. Deshalb ist Metas Antwort wichtig, obwohl Meta nur ein Name auf einer längeren Liste ist.
Parallel dazu entstehen weitere Kontrollmechanismen, die anders funktionieren:
- Really Simple Licensing (RSL) ermöglicht es Herausgebern, Crawlern den Zugriff auf ihre Inhalte in Rechnung zu stellen.
- Cloudflare blockiert KI-Crawler standardmäßig.
Der eine Mechanismus versieht den Zugang mit einem Preisschild, der andere errichtet eine Zugangsschranke. Das gemeinsame robots.txt-Signal ist ein Schild an der Tür – und ein nützliches, jetzt, da vier Unternehmen erklärt haben, dass sie es lesen werden.
Für Herausgeber besteht der praktische Nutzen darin, weniger separate Mitteilungen verfassen zu müssen. Die praktische Grenze: Das Schild ist nur so wirksam, wie es die Umgangsformen der Besucher zulassen, und zwei der vier Besucher werden es erst 2027 lesen.