Flo Luccioni

Die Sichtbarkeit einer PWA in Suchmaschinen beruht auf einem einfachen Prinzip: Damit eine Seite in den Suchergebnissen erscheint, muss eine Suchmaschine sie zuerst besuchen, lesen und indexieren. Diesen Besuch — den Crawl — lösen nicht Sie aus. Die Suchmaschine entscheidet selbst, wann sie wiederkommt, in ihrem eigenen Rhythmus.Bei einer statischen Website spielt dieses Warten kaum eine Rolle. Bei einer App mit lebendigen Inhalten — einem Medium, das mehrmals täglich veröffentlicht, einem Shop mit wechselnden Preisen und Beständen, einem Kalender, in dem Termine auftauchen und ablaufen — ist es eine echte Bremse. Die Arbeit ist längst getan: Der Inhalt ist online, aktuell, bereit, gefunden zu werden. Doch er wartet auf einen Crawler, der noch nicht zurück war. In der Zwischenzeit erscheint in den Ergebnissen manchmal eine alte Version der Seite — oder gar nichts.

Wenn Sie Ihre PWA veröffentlicht haben, liefert sie gerade in diesem Moment eine robots.txt aus: die erste Datei, die ein Crawler liest, und die Datei, die alles Weitere bestimmt — welche Teile Ihrer Website abgerufen werden, und von wem. Ihre sagt zu allen Ja.Alles Folgende betrifft diese Web-Version Ihrer App. Ihre iOS- und Android-Apps werden von niemandem gecrawlt, und der Tab erscheint erst, wenn Ihre PWA mindestens einmal veröffentlicht wurde — vorher gibt es keine Datei zu konfigurieren.Das war eine vertretbare Antwort. Sie war nur nicht Ihre — und die Adressaten haben sich verändert. Vor ein paar Jahren war ein Crawler auf Ihren Inhalten Google, Bing oder ein Datensammler, der Ihnen gleichgültig sein konnte. Heute gehört ein wachsender Teil dieses Traffics KI-Unternehmen, und sie wollen nicht alle dasselbe von Ihren Seiten. Sie als Block zu behandeln heißt, zwischen allen und keinem zu wählen.Der neue Tab teilt sie in vier Familien: Search engines (Google, Bing und die anderen Suchmaschinen, die Ihre Website in ihren Ergebnissen listen), AI answers (ChatGPT, Claude oder Perplexity, wenn sie Ihre Website in ihren Antworten zitieren), AI training (die Bots, die Ihre Inhalte sammeln, um ihre Modelle zu trainieren) und On-demand reading (wenn jemand eine KI bittet, eine bestimmte Seite Ihrer Website zu öffnen und zu lesen). Vier Familien, weil es vier verschiedene Abmachungen sind.