Lesen, zitieren, trainieren: Sie entscheiden, was KI mit Ihren Inhalten macht

Wenn Sie Ihre PWA veröffentlicht haben, liefert sie gerade in diesem Moment eine robots.txt aus: die erste Datei, die ein Crawler liest, und die Datei, die alles Weitere bestimmt — welche Teile Ihrer Website abgerufen werden, und von wem. Ihre sagt zu allen Ja.

Alles Folgende betrifft diese Web-Version Ihrer App. Ihre iOS- und Android-Apps werden von niemandem gecrawlt, und der Tab erscheint erst, wenn Ihre PWA mindestens einmal veröffentlicht wurde — vorher gibt es keine Datei zu konfigurieren.

Das war eine vertretbare Antwort. Sie war nur nicht Ihre — und die Adressaten haben sich verändert. Vor ein paar Jahren war ein Crawler auf Ihren Inhalten Google, Bing oder ein Datensammler, der Ihnen gleichgültig sein konnte. Heute gehört ein wachsender Teil dieses Traffics KI-Unternehmen, und sie wollen nicht alle dasselbe von Ihren Seiten. Sie als Block zu behandeln heißt, zwischen allen und keinem zu wählen.

Der neue Tab teilt sie in vier Familien: Search engines (Google, Bing und die anderen Suchmaschinen, die Ihre Website in ihren Ergebnissen listen), AI answers (ChatGPT, Claude oder Perplexity, wenn sie Ihre Website in ihren Antworten zitieren), AI training (die Bots, die Ihre Inhalte sammeln, um ihre Modelle zu trainieren) und On-demand reading (wenn jemand eine KI bittet, eine bestimmte Seite Ihrer Website zu öffnen und zu lesen). Vier Familien, weil es vier verschiedene Abmachungen sind.

Konkret: OpenAI schickt GPTBot los, um Trainingsdaten zu sammeln, und OAI-SearchBot, um in ChatGPT Search zu antworten — der zweite verlinkt zurück zu Ihnen. Anthropic macht dasselbe mit ClaudeBot und Claude-SearchBot. Google trennt Googlebot, der die Suche speist, von Google-Extended, der die Modelle speist. Apple trennt Applebot von Applebot-Extended.

Dasselbe Unternehmen, zwei Crawler, zwei grundverschiedene Geschäfte. Das eine bringt Ihnen Leser. Das andere nimmt den Inhalt und gibt nichts zurück. Ein pauschales Ja oder Nein kann das nicht unterscheiden; eine robots.txt, die sie einzeln benennt, schon.

Genau das halten die vier Voreinstellungen fest:

• Max visibility — offen für alle Bots, auch für die des KI-Trainings. Maximiert die Reichweite. Das ist Ihre heutige Datei, unverändert.
• No AI training — erlaubt Suchmaschinen, klassische wie KI-basierte, und blockiert die KI-Trainings-Bots. Sie behalten den Traffic und lehnen den Trainingsdatensatz ab.
• Classic SEO only — erlaubt Google, Bing & Co. Blockiert sämtliche KI-Assistenten, Suche wie Training.
• Strict privacy — blockiert alles. Für interne Anwendungen oder eine Testumgebung.

Es gilt immer nur eine, und Sie können jederzeit wechseln. Die meisten Content-Publisher bleiben bei der zweiten — und genau darum geht es bei dieser Funktion: Diese Wahl ließ sich bisher schlicht nicht ausdrücken.

Eine Voreinstellung ist ein Etikett, und Etiketten liest man leicht falsch. Deshalb legt der Tab seine Arbeit offen.

Öffnen Sie See this preset's details, und Sie bekommen zwei Dinge. Erstens ein Urteil für jede der vier Familien — Allowed oder Blocked — damit die Abwägung auf dem Bildschirm steht und nicht bloß in einem Namen mitschwingt. Zweitens eine Live-Vorschau der erzeugten robots.txt, die sich aktualisiert, während Sie von Karte zu Karte klicken. Sie geben eine Datei frei, kein Versprechen.

Hinter diesen vier Karten steht ein Verzeichnis von 22 Crawlern aus 15 Häusern — OpenAI, Anthropic, Google, Apple, Meta, Amazon, Perplexity, Common Crawl, ByteDance, Cohere und weitere — mit der Rolle jedes einzelnen. Es aktuell zu halten ist unsere Aufgabe, nicht Ihre: Taucht ein neuer KI-Crawler auf, kommt er in die richtige Familie, und Ihre Voreinstellung bedeutet weiterhin das, was Sie gewählt haben. Die vollständige Liste der Bots ist im Tab einen Klick entfernt, für alle, die genau sehen wollen, wer darin steht.

Es gibt einen zweiten Modus, und er kommt mit einer Bedingung: Er ist für Menschen, die schon einmal eine robots.txt geschrieben haben.

Stellen Sie den Schalter auf Manual, und die Voreinstellungen treten zurück — Sie bearbeiten die Datei direkt, eine Direktive pro Zeile. Sie öffnet sich vorbefüllt mit den Regeln der zuletzt gewählten Voreinstellung, Sie starten also nicht vor einem leeren Feld; von dort benennen Sie Crawler einzeln: Common Crawl blockieren, GPTBot behalten, einen bestimmten Bot mit Crawl-delay ausbremsen, einen Pfad öffnen, den Sie sonst geschlossen ließen. Was Sie schreiben, bleibt bei jeder Neuveröffentlichung erhalten, und die Sitemap-Zeile bleibt von selbst stehen.

Geprüft wird die Form der Datei, nicht ihre Klugheit. Der Inhalt ist auf 10 KB begrenzt, vier Direktiven werden akzeptiert — User-agent, Disallow, Allow und Crawl-delay — alles andere wird mit Zeilennummer zurückgewiesen. Das ist eine Syntaxprüfung, kein Sicherheitsnetz. Disallow: / ist eine vollkommen gültige Zeile, und sie nimmt Ihre gesamte Website aus Google. Der Editor wird Sie nicht aufhalten, denn er kann das nicht von einer bewussten Entscheidung unterscheiden. Die Oberfläche warnt Sie beim Umschalten, und sie meint es ernst.

Also, ganz klar: Wenn Sie nicht sicher sind, was eine Zeile bewirkt, schreiben Sie sie nicht. Die vier Voreinstellungen sind umkehrbar, sie zeigen Ihnen die Datei, bevor Sie sich festlegen, und sie decken ab, was fast alle brauchen. Der manuelle Modus ist für die Fälle da, die sie wirklich nicht ausdrücken können — und wenn Sie so einen Fall haben, wissen Sie das bereits.

Eine robots.txt ist eine Erklärung, keine Firewall. Sie ist eine öffentliche Bitte, an die sich wohlerzogene Crawler halten — und der ehrliche Teil dieser Funktion ist: Nicht alle tun das. ChatGPT-User und Perplexity-User, die eine Seite abrufen, weil ein Mensch danach gefragt hat, erklären offen, dass sie sich nicht daran halten. Bytespider ebenfalls nicht. Common Crawl nur teilweise. Wir führen diesen Status Crawler für Crawler mit, statt die Datei als Schloss auszugeben: Lesen Sie Ihre Wahl als „wen ich informiert habe, und worüber", nicht als „wen ich gestoppt habe".

Zwei Dinge funktionieren dagegen verlässlich. Ob Ihre App überhaupt in Suchergebnissen erscheint, wird nicht hier geregelt — das ist die Indexierungseinstellung in Ihren allgemeinen SEO-Einstellungen, und wenn die Indexierung aus ist, tritt der Tab zurück und sagt es Ihnen, statt Sie etwas Wirkungsloses konfigurieren zu lassen. Und wenn Sie speichern, wird die zwischengespeicherte Kopie auf Ihrer Domain sofort verworfen: Ihre neuen Regeln greifen in Sekunden, statt erst mit dem Ablauf des Caches.

Gehen Sie in Ihr Back Office, öffnen Sie SEO → ROBOTS.TXT, wählen Sie die Voreinstellung, die zu Ihrer Content-Strategie passt, und speichern Sie — wenige Sekunden später ist Ihre Datei auf Ihrer Domain live.