--- title: "Lesen KI-Agenten Markdown? Unsere Server-Logs antworten" description: "Unsere Website liefert KI-Agenten Markdown. Zwei Wochen Server-Logs, September 2026: Wer hat es abgerufen, wer ignoriert, und was heißt das für Ihre Inhalte?" canonical_url: "https://de.goodbarber.com/blog/lesen-ki-agenten-markdown-was-zwei-wochen-logs-unseres-eigenen-servers-zeigen-a1454/" lang: de date: 2026-09-22 last_updated: 2026-09-22 --- # Lesen KI-Agenten Markdown? Unsere Server-Logs antworten [Zurück](/blog/mach-es-r13/) # Lesen KI-Agenten Markdown? Was zwei Wochen Logs unseres eigenen Servers zeigen Written by [Dumè Siacci](https://de.goodbarber.com/blog/author/dominique-siacci/) on Dienstag 22 September 2026 ## Anfang September 2026 haben wir jeder Seite unseres eigenen kommerziellen Portals, das Sie gerade lesen, einen Markdown-Zwilling gegeben: Wer danach fragt, bekommt die Seite als reinen Text statt als HTML. Dann haben wir die Logs gelesen. Die Crawler haben zugegriffen, die Coding-Agenten haben ihn ausdrücklich angefordert, und die Assistenten, die Menschen ihre Fragen beantworten, haben ihn komplett ignoriert. Was folgt, sind unsere Messungen, mit Datum, und das, was Sie daraus für Ihre eigenen Inhalte mitnehmen können. ![](https://cmsphoto.ww-cdn.com/superstatic/129568/art/grande/98104513-68313754.jpg?v=1790005364.341162) **Under the hood** — *die Technik hinter GoodBarber, erklärt für die Menschen, die Apps betreiben.* Zur Einordnung: Alles, was folgt, ist auf unserem eigenen kommerziellen Portal passiert, und unser Team hat es dort eingerichtet. Was wir dabei über die Maschinen gelernt haben, die Webseiten lesen, gilt für alle Inhalte, unsere wie Ihre. **Das Wichtigste in Kürze**, gemessen auf unserem Portal vom 4. bis 18. September 2026: - Die Trainings- und Indexierungs-Crawler der KI-Unternehmen (Amazon, Meta, OpenAI) haben die Markdown-Seiten über den `.md`-Link gelesen: rund 80.000 Anfragen in zwei Wochen. - Coding-Agenten, allen voran Claude Code, fordern Markdown über den Header `Accept: text/markdown` an und bekommen es: rund 22.000 ausgehandelte Anfragen, fast alle von Antwortmaschinen für Agenten und von Claude Code. - ChatGPT, Claude im Web und Perplexity haben, wenn sie einer Person antworten, mehr als 13.000 Mal das HTML abgerufen und ein einziges Mal das Markdown. - Der Crawler von Google hat keine einzige Markdown-Seite angefordert. - Markdown wiegt rund 80 % weniger als die HTML-Seite, aus der es stammt. ## Warum Markdown an KI-Agenten ausliefern GoodBarber ist eine No-Code-Plattform zum Erstellen mobiler Apps; goodbarber.com ist ihre kommerzielle Website, in elf Sprachen, mit Marketing-Seiten, einem Blog und einem Hilfecenter. Wenn jemand einen KI-Assistenten fragt, ob sich mit GoodBarber die App bauen lässt, die er im Kopf hat, liest der Assistent nicht unsere Broschüre. Er holt sich unsere Seiten, manchmal Tausende am Tag, und presst aus dem HTML eine Antwort heraus. HTML ist schwer: Menüs, Skripte, Layout, Cookie-Banner. Markdown ist der Text der Seite und sonst nichts. Es auszuliefern, wenn eine Maschine danach fragt, heißt: Der Assistent liest den eigentlichen Inhalt, schneller, mit einem Bruchteil der Datenmenge und mit geringerer Gefahr, uns falsch zu verstehen. Im August 2026 hatte Pierre-Laurent gezählt, [wer unsere llms.txt liest](https://dev.to/pierrelaurentmedori/llmstxt-in-the-wild-1321-requests-and-not-one-ai-assistant-came-looking-3205). Eine llms.txt ist eine Textdatei im Stammverzeichnis einer Website, die deren wichtige Seiten für KI-Systeme auflistet: In vier Monaten war kein einziger Assistent von sich aus gekommen, um sie zu lesen. Dieselben Logs zeigten noch etwas anderes: Im selben Zeitraum hatten die Assistenten und ihre Crawler unsere normalen Seiten 1,6 Millionen Mal abgerufen. Niemand schaut auf den Stadtplan; alle laufen durch die Straßen. Die Frage war also nicht „Wie bringen wir sie dazu, den Index zu lesen?“, sondern „Was geben wir ihnen in die Hand, wenn sie ankommen?“. ## Wie unser Portal Markdown ausliefert: Content Negotiation und .md-URLs Zwei Türen, kein doppelter Inhalt. Die erste ist Content Negotiation, der Standardmechanismus des Webs, mit dem ein Client in seiner Anfrage angibt, welches Format er bevorzugt: Ein Client, der den Header `Accept: text/markdown` sendet, bekommt von jeder öffentlichen Seite die Markdown-Version, unter derselben Adresse. Die zweite ist eine Zwillingsadresse: Ein Client, der an die Adresse einer Seite `.md` anhängt, `/pricing.md`, `/blog/
.md`, bekommt dasselbe. Auch diese Seite hat ihren Zwilling: Hängen Sie `.md` an ihre Adresse an. Jede HTML-Seite verweist mit einem Standard-Link auf ihren Zwilling, genauso wie sie auf ihre Übersetzungen verweist. Das Markdown wird aus genau dem HTML erzeugt, das die Seite ohnehin ausliefert, es kann also nie etwas sagen, was die Seite nicht sagt, und es weist Suchmaschinen an, es nicht zu indexieren: Die HTML-Seite bleibt die einzige, die bei Google auftaucht. Vor dem Einschalten lautete der Test: Kann ein menschlicher Besucher irgendetwas bemerken? Die Antworten wurden Byte für Byte verglichen, mit und ohne Zwilling, in allen Browser-Varianten, die uns eingefallen sind: identisch, für ein paar Mikrosekunden pro Anfrage. Erfunden haben wir davon nichts. [Cloudflare](https://blog.cloudflare.com/markdown-for-agents/) wandelt seit Februar 2026 Seiten an der Edge seines Netzwerks in Markdown um, [Zapier](https://zapier.com/pricing.md) und [Vercel](https://vercel.com/docs/agent-resources/markdown-access) bieten beide Türen auf ihren eigenen Websites an. Wenn Sie eine Website betreiben und dasselbe wollen: Es ist ein Tag Arbeit auf dem Server, eine Konvertierungsbibliothek, ein Cache und eine Möglichkeit zu prüfen, dass sich für Menschen nichts geändert hat. Was fast niemand macht, ist der nächste Schritt: zählen. ## Lesen KI-Crawler Markdown? Vom 4. bis 18. September 2026 haben zwei eigens dafür angelegte Logs jede Anfrage nach einer Markdown-Seite aufgezeichnet, auf unseren elf Sprachversionen, unseren eigenen Traffic herausgerechnet. Jedes „Wer“ weiter unten ist ein selbst deklarierter Name, abgeglichen mit den IP-Adressen, die sein Betreiber veröffentlicht, so wie Pierre-Laurent es getan hatte; wo ein Betreiber nichts veröffentlicht, bleibt der Name eine Selbstauskunft. Ja, und sie sind es, die den `.md`-Link nehmen: rund 80.000 Anfragen in zwei Wochen. Die Hälfte davon kommt von den Crawlern der KI-Unternehmen, jenen, die Trainingsdatensätze und Suchindizes aufbauen: die von Amazon, Meta und OpenAI, alle von ihren veröffentlichten IP-Adressen aus. Die Crawler von OpenAI finden die `.md`-Version, weil unsere HTML-Seite auf sie verweist: In 99 von 100 Fällen hatte derselbe Crawler die HTML-Seite in den zehn Minuten davor abgerufen. Der Crawler von Bing kam auch, verbrachte seinen Besuch aber größtenteils auf unseren internen Suchseiten, die auf jede Anfrage antworten, die irgendjemand eintippt. Der Crawler von Google selbst hat keine einzige Markdown-Seite angefordert. ## Senden Coding-Agenten Accept: text/markdown? Ja, fast durchgängig. Auf den Header entfielen rund 22.000 Anfragen, ein Viertel dessen, was über den Link kam, und von einem ganz anderen Publikum. Fast alles stammt von zwei Suchmaschinen, die für KI-Agenten gebaut sind, ShapBot und ExaSearchBot, und von einem einzigen Coding-Agenten: Claude Code, dem Werkzeug, das Entwickler und andere auf ihrem eigenen Rechner laufen lassen. Claude Code hat den Header bei praktisch jeder seiner rund 1.400 Seitenanfragen gesendet und in 98 von 100 Fällen Markdown erhalten, zu drei Vierteln in unserem Hilfecenter. Das deckt sich mit dem, was [Checkly im Februar 2026 gemessen hat](https://www.checklyhq.com/blog/state-of-ai-agent-content-negotation/): Claude Code, Cursor und OpenCode senden den Header; Codex, Gemini CLI, Copilot und Windsurf nicht. ## Rufen ChatGPT, Claude und Perplexity Markdown ab? Nein, durch keine der beiden Türen. Das ist die Zahl, bei der wir uns verwettet hätten. In zwei Wochen haben Anfragen, die ausgelöst wurden, weil jemand ChatGPT eine Frage gestellt hat, mehr als 10.000 unserer HTML-Seiten abgerufen und eine einzige Markdown-Seite, drei Minuten nach dem Start, höchstwahrscheinlich einer von uns beim Testen. Claude im Web: rund 2.700 HTML-Seiten, null Markdown. Perplexity: rund 900, null. Sie holen sich die HTML-Seite und bereinigen sie selbst. Nichts von dem, was wir ausliefern, ändert daran etwas. Wer liest was, und wozu: | Agent (deklariert) | Was er mit der Seite macht | HTML | `.md`-Link | `Accept`-Header | | ------------------------------------------ | ------------------------------------------------------------ | ---- | ---------------------------------------- | ------------------------------- | | Amazonbot, Meta-ExternalAgent | crawlt für Trainingsdaten | ja | ja, von sich aus | nein | | ClaudeBot | crawlt für Trainingsdaten | ja | ja, etwa vier `.md` auf zehn HTML-Seiten | nein | | GPTBot | crawlt für Trainingsdaten | ja | ja, über den Link unserer Seite | nein | | OAI-SearchBot | baut den Suchindex von ChatGPT auf | ja | ja, über den Link unserer Seite | nein | | PerplexityBot | baut den Index von Perplexity auf | ja | nein | nein | | Bingbot, Applebot, Baidu | klassischer Suchindex | ja | ja (Bing vor allem auf Suchseiten) | nein | | Googlebot | klassischer Suchindex | ja | nein | nein | | ShapBot, ExaSearchBot | Index für die Antworten von KI-Agenten | ja | nein | ja, bei fast jeder Anfrage | | Claude Code | Coding-Agent, ruft bei Bedarf ab | ja | nein | ja, bei praktisch jeder Anfrage | | ChatGPT-User, Claude-User, Perplexity-User | ruft eine Seite ab, um die Frage einer Person zu beantworten | ja | nein (eine Anfrage in zwei Wochen) | nein | **Zwei kleinere Befunde.** Das Markdown wiegt rund 80 % weniger als die HTML-Seite, aus der es stammt, im Hilfecenter nahezu 85 %. Und bevor wir überhaupt Markdown ausgeliefert haben, standen in unseren Logs schon rund 900 Anfragen nach `.md`-Adressen, die es gar nicht gab, `README.md`, `agents.md`, `CLAUDE.md`, ausprobiert von Tools, die erwarten, dass eine Website ein Code-Repository ist; eines davon hatte genau die Adressen erraten, die wir einen Monat später veröffentlicht haben. ## Was das für Ihre Inhalte bedeutet Drei Dinge, aus unseren Logs statt von irgendwelchen Folien. **Ihr HTML ist das, was die Assistenten lesen.** ChatGPT, Claude und Perplexity rufen die Seite ab, die ein Mensch sieht. Eine saubere, aktuelle, gut strukturierte Seite ist das, was bei ihnen ankommt; ein Markdown-Zwilling nicht, jedenfalls heute nicht. Pierre-Laurent hat beschrieben, [wie Sie die Inhalte korrigieren, die Assistenten zitieren](https://de.goodbarber.com/blog/ki-assistenten-liegen-bei-ihrem-unternehmen-falsch-korrigieren-sie-die-inhalte-die-sie-zitieren-a1448/), wenn sie bei Ihrem Unternehmen falsch liegen; diese Arbeit gilt dem HTML, und sie ist die, die sich auszahlt. **Crawler folgen den Links, die Sie veröffentlichen.** Die Crawler von OpenAI haben den `.md`-Link genommen, weil die Seite ihn angeboten hat. Wenn Sie Crawlern eine Richtung zeigen, gehen sie dorthin. Auch deshalb lohnt sich eine llms.txt weiterhin: Seit unsere Seiten auf sie verlinken, erreichen die Crawler von OpenAI die Datei von unserer eigenen Website aus; früher kamen sie über Verzeichnisse Dritter dorthin. **Coding-Agenten fordern Markdown ausdrücklich an.** Wenn Entwickler zu Ihrem Publikum gehören, senden die Agenten, die sie einsetzen, `Accept: text/markdown` und nutzen, was sie bekommen. Bei uns sind sie ins Hilfecenter gegangen. Wenn Sie eine GoodBarber-App betreiben, ist ihre Web-Version bereits die Seite, die ein Assistent abrufen und zitieren kann, und mit [GoodBarber MCP](https://de.goodbarber.com/mcp/) kann ein Assistent Ihnen helfen, diese Inhalte aktuell zu halten. Die Seiten, die die Assistenten tatsächlich lesen, sind die, die Sie ohnehin schon veröffentlichen. ## Häufig gestellte Fragen **Gilt das auch für die mit GoodBarber erstellten Apps?** Nicht direkt: In diesem Artikel geht es um unser eigenes Portal. Was für Ihre App schon jetzt gilt, ist die Lehre daraus: Assistenten lesen die HTML-Seite, die ein Mensch sieht, also kommt es darauf an, diese Inhalte aktuell zu halten. **Ist die Website von GoodBarber für KI-Agenten lesbar?** Ja. Seit September 2026 gibt es jede öffentliche Seite von goodbarber.com auch in Markdown, über den Header `Accept: text/markdown` oder indem man `.md` an ihre Adresse anhängt, und jede HTML-Seite kündigt diese Version mit einem Standard-Link an. Die Website veröffentlicht außerdem eine llms.txt und eine llms-full.txt, die jede Nacht aus den Seiten neu erzeugt werden, und jede Seite verlinkt auf sie. **Kann ein KI-Agent mit einer GoodBarber-App arbeiten?** Ja, über GoodBarber MCP: Ein Assistent wie Claude oder ChatGPT kann sich mit Ihrer App verbinden, um deren Inhalte zu lesen und zu bearbeiten, einen Artikel zu veröffentlichen oder eine Benachrichtigung zu planen, mit Ihrer Freigabe. Das ist ein anderes Thema als das dieses Artikels, und es ist auf der Seite zu GoodBarber MCP beschrieben. **Lesen KI-Assistenten die Markdown-Versionen von Webseiten?** Die Assistenten für Endnutzer nicht, jedenfalls in unseren Logs vom September 2026. ChatGPT, Claude im Web und Perplexity haben unsere HTML-Seiten in zwei Wochen mehr als 13.000 Mal abgerufen und unsere Markdown-Seiten ein einziges Mal. Crawler und Coding-Agenten haben das Markdown dagegen genutzt. **Hilft es bei Google, Markdown auszuliefern?** Nein, und das ist auch nicht der Zweck. Unsere Markdown-Seiten weisen Suchmaschinen an, sie nicht zu indexieren, und verweisen zurück auf die HTML-Seite. Der Crawler von Google hat nie eine angefordert. **Sollte ich meiner Website eine llms.txt hinzufügen?** Es kostet wenig, und Crawler lesen sie durchaus, wenn Ihre Seiten auf sie verlinken. In unseren Logs wird sie von Crawlern, Verzeichnissen und SEO-Tools gelesen, nicht von den Assistenten, die Menschen ihre Fragen beantworten. ![Dominique Siacci](https://blog.goodbarber.com/_public/profile/ca/ca3512f4dfa95a03169c5a670a4c91a19b3077b4-default.jpg) Über den Autor[Dominique Siacci](https://de.goodbarber.com/blog/author/dominique-siacci/)CTO Mitgründer und CTO von GoodBarber. Ich verantworte die technische Vision des Produkts: Architektur, Infrastruktur und seit Kurzem die Integration von KI in den Kern der Plattform. Als Entwickler aus Leidenschaft bleibe ich nah am Code und an den Engineering-Entscheidungen, die es Tausenden von GoodBarber-Nutzern ermöglichen, ihre Apps zu veröffentlichen, ohne eine einzige Zeile Code zu schreiben. [Mehr erfahren](https://de.goodbarber.com/blog/author/dominique-siacci/) [![LinkedIn](https://portal.ww-cdn.com/portal_static/svg/base2021/linkedin.3ed8162e2a2b.svg)](https://fr.linkedin.com/in/dsiacci/)[![X](https://portal.ww-cdn.com/portal_static/svg/base2021/x.820492c586dd.svg)](https://twitter.com/dsiacci)[![Facebook](https://portal.ww-cdn.com/portal_static/svg/base2021/fb.be37c82b8283.svg)](https://www.facebook.com/dsiacci)