KI in Ihrer App

Die Tabelle unten ist der Plan dieses Leitfadens. Lesen Sie sie zuerst: Sie verhindert drei Viertel der falschen Entscheidungen.

Ein Satz, an dem sich der Unterschied festhalten lässt: Der RAG-Chatbot weiß, was Sie veröffentlicht haben, die ChatGPT-Extension weiß, was das Modell gelernt hat. Der erste kann zu einem Thema, das Sie nie behandelt haben, nicht antworten. Die zweite antwortet trotzdem, und genau das wollen Sie manchmal nicht.

Beide können in derselben App nebeneinander bestehen. Ein allgemeiner Gesprächsassistent auf dem Startscreen und ein dokumentarischer Chatbot im Archivbereich stehen nicht im Wettbewerb.

RAG steht für retrieval-augmented generation. Das Prinzip passt in einen Satz: Bevor der Assistent antwortet, sucht er die passenden Passagen in Ihren Inhalten und schreibt seine Antwort aus diesen Passagen.

Das ist der Unterschied zwischen einem Assistenten, der sich in Ihrem Fach auskennt, und einem, der sich in Ihrem Haus auskennt. Für ein zehn Jahre altes Artikelarchiv, einen Reiseführer, ein internes Handbuch oder eine Sammlung häufiger Fragen ist es die einzige Form, die trägt: Die Antworten bleiben innerhalb der Grenzen dessen, was Sie geschrieben haben, und sie altern im selben Takt.

Der Chatbot ist zuerst eine Extension und dann ein Bereich, und diese Reihenfolge zählt. Alles beginnt beim Eintrag RAG Chatbot im Hauptmenü, auf der ersten Ebene zwischen Notification und Statistics: Dort fügen Sie die Extension hinzu, und erst wenn sie hinzugefügt ist, wird der Bereich verfügbar in Ihrer App. Wer ihn in der Liste der Bereiche sucht, ohne vorher dort gewesen zu sein, findet ihn nicht.

Ist er eingerichtet, verhält er sich wie jeder andere Bereich: Er nimmt seinen Platz in Ihrem Menü ein, er zählt zu Ihren 120 Bereichen, und er übernimmt die Farben und die Typografie Ihrer App.

Seine Einstellungen öffnen sich über denselben Menüeintrag, auf einem Screen mit vier Reitern: Einstellungen, Design, Quellbereiche und Berichte.

Das ist die Einstellung, die über die Qualität Ihres Chatbots entscheidet, und es ist zugleich die, bei der es alle eilig haben.

Der Reiter Sections führt Ihre Bereiche auf, geordnet nach Inhaltstyp: Ihre Artikel, Ihre Events, Ihre Orte. Sie kreuzen die an, die die Wissensbasis speisen sollen, und Sie können bis auf die Ebene der Kategorie hinuntergehen: der ganze Bereich Artikel oder nur die Kategorie Praktisches.

Alles, was Sie danach in diesen Bereichen veröffentlichen, wandert automatisch hinein. Es gibt keine Schaltfläche zum Aktualisieren, an die Sie denken müssten, keinen Export, den Sie erneuern müssten: Ihre Wissensbasis folgt dem, was Sie veröffentlichen.

Eine letzte Einstellung rundet das Bild ab: eine Obergrenze dafür, wie viele Einträge aus jeder gewählten Quelle behalten werden, von den jüngsten rückwärts. Sie zu erhöhen gibt dem Assistenten mehr Material und verbraucht mehr Credits. Ein Verlag, der täglich veröffentlicht, und ein gleichbleibender Reiseführer brauchen nicht denselben Wert.

Zwei Modelle werden getrennt eingestellt, und sie leisten nicht dasselbe.

Das Modell für die Generierung ist das, welches die Antwort schreibt. Die Liste reicht von den jüngsten Modellen bis zu ihren Varianten Mini und Nano, die schneller und sparsamer sind. Sie enthält Modelle von OpenAI und von Mistral, womit Sie auf europäischer Infrastruktur bleiben können, wenn Ihnen das wichtig ist.

Das Modell für die Indexierung ist das, welches Ihre Inhalte in etwas verwandelt, mit dem die Suche arbeiten kann. Seine große Fassung kommt mit langen, nuancierten Texten besser zurecht; seine sparsame Fassung ist schneller und verbraucht weniger.

Die praktische Regel: Beginnen Sie mit einer sparsamen Variante, messen Sie die Qualität der Antworten an Ihren echten Fragen, und steigen Sie auf, wenn Sie noch nicht dort sind. Umgekehrt vorzugehen kostet Geld für nichts.

Ein Feld für den Schreibton erlaubt Ihnen zu beschreiben, wie der Assistent Ihre Leser anspricht: den Grad an Förmlichkeit, den Stil. Dieses Feld ist nicht dazu da, Wissen hinzuzufügen, es ist dazu da, die Stimme festzulegen.

Es trägt allerdings die nützlichste Anweisung des ganzen Screens: die, die sagt, was zu antworten ist, wenn die Antwort nicht in Ihren Inhalten steht. Ohne sie zieht ein Assistent es oft vor zu improvisieren, statt es zuzugeben. Schreiben Sie es ausdrücklich hin: Sagen Sie ihm, er solle sagen, dass er es nicht weiß, und auf Ihre Kontaktseite verweisen. Ein Satz, und Ihr Chatbot hört auf zu erfinden.

Zwei Schalter entscheiden darüber, was unter den Antworten erscheint. Interaktive Quellkarten zeigen den Artikel, das Event oder den Ort, aus dem die Antwort gebaut wurde, und der Leser öffnet ihn mit einer Bewegung. Ein zweiter Schalter fügt an jeder Nachricht der Unterhaltung eine Schaltfläche zum Kopieren hinzu.

Sehen Sie sich diese Antwort an: Sie ist nicht nur richtig, sie sagt auch, woher sie kommt. Jedes zitierte Rezept trägt seinen Link zum Artikel, und die Reihe von Karten unter der Unterhaltung führt den Leser zurück in die Inhalte. Das ist der sichtbare Unterschied zwischen einem Assistenten, der aus Ihnen schöpft, und einem, der aus dem Gedächtnis spricht.

Schalten Sie die Quellkarten ein. Sie leisten dreierlei auf einmal: Sie belegen, dass die Antwort wirklich von Ihnen kommt, sie holen den Leser zurück in Ihre Inhalte, statt ihn in der Unterhaltung zu lassen, und sie geben Ihnen eine Möglichkeit, Ihren Chatbot auf einen Blick zu prüfen.

Eine Option zur Zugangsbeschränkung schließt den Chatbot für vorbeikommende Besucher und behält ihn Personen vor, die angemeldet oder abonniert sind. Sie stützt sich auf eine der beiden Zugangsfamilien der Plattform, die Extension für die In-App-Mitgliedschaft oder die Extension Authentication, eine der beiden muss also in Ihrer App aktiv sein.

Diese beiden Familien stapeln sich nicht: Das ist die Weggabelung, die „Mit Ihrer App eine Community aufbauen“ beschreibt, und sie wird vorher entschieden, nicht nachher. Wenn Ihre App auf einer In-App-Mitgliedschaft lebt, läuft die Beschränkung darüber.

Er ist ein guter Kandidat für vorbehaltene Inhalte. Ein Assistent, der zehn Jahre Ihres Archivs kennt, hat einen Wert, den ein Leser sofort erfasst, was von einem weiteren Artikel selten gilt.

Der RAG-Chatbot ist eine Extension, und seine Beschreibung zeigt den Preis, der für Ihre App gilt. Er enthält ein Volumen an Credits, das jeden Monat erneuert wird, und ein Zähler oben auf dem Screen zeigt den verbleibenden Stand samt dem Datum der nächsten Erneuerung. Das enthaltene Volumen steht in derselben Beschreibung.

Zwei Dinge verbrauchen diese Credits, und nicht im selben Verhältnis. Die Indexierung Ihrer Inhalte kostet wenig und geschieht einmal, danach bei jeder Veröffentlichung. Die Fragen Ihrer Nutzer kosten den Rest, und ihr Verbrauch hängt vom gewählten Modell und von der Komplexität der Frage ab. Anders gesagt folgt Ihre Rechnung Ihrem Publikum: Das ist eine gute Nachricht, vorausgesetzt, Sie haben es kommen sehen.

Die andere Art von Assistent liest Ihre Inhalte nicht. Sie steckt eine Instanz von ChatGPT in Ihre App, und Sie geben ihr eine Rolle.

Wie bei jeder Extension zeigt ihre Beschreibung den Preis, der für Ihre App gilt, und sie funktioniert auf beiden Produktlinien, in Content-Apps ebenso wie in E-Commerce-Apps.

Wie der RAG-Chatbot ist sie zuerst eine Extension und dann ein Bereich, und dieselbe Reihenfolge gilt: Sie schalten sie zuerst unter Extensions Store › All extensions ein, und der Bereich erscheint erst danach in der Liste der Typen. Den Status aller Ihrer Extensions finden Sie anschließend unter Extensions Store › Management.

Ihre Einstellungen öffnen sich über das Menü des Bereichs, über den Eintrag, der den Assistenten konfiguriert. Ihr Screen hat nur zwei Reiter, Einstellungen und Design, wo der RAG-Chatbot vier hat. Das ist der Unterschied in der Natur der Sache, mit bloßem Auge sichtbar.

Der erste Unterschied steht gleich dort, und er ist nicht nebensächlich. Ein Block für den Zugang zu OpenAI verlangt einen geheimen API-Schlüssel, den Sie in Ihrem OpenAI-Konto anlegen. Die Geschäftsbeziehung bleibt zwischen Ihnen und OpenAI: GoodBarber berechnet nichts auf die Unterhaltungen und behält nichts ein.

Was das in der Praxis heißt: Sie eröffnen ein Konto bei OpenAI, hinterlegen dort eine Zahlungsart und beobachten den Verbrauch in deren Dashboard, nicht in Ihrem Backoffice. Manche jüngeren Modelle verlangen außerdem, dass Ihre Organisation bei OpenAI verifiziert ist, worauf der Screen hinweist.

Nur drei Felder, und das dritte trägt alles Weitere. Sie tragen den Namen des Assistenten ein, wählen ein Modell für die Generierung aus einer Liste, die vom jüngsten bis zum sparsamsten reicht, und schreiben dann die Systemnachricht.

Dieser Text ist das Einzige, was Ihren Assistenten von einem gewöhnlichen ChatGPT trennt. Er beschreibt seine Rolle, seinen Ton und vor allem die Bandbreite der Themen, die er zu behandeln bereit ist. Ein Assistent, dem niemand gesagt hat, worüber er spricht, spricht über alles, auch über Dinge, die Sie in Ihrer App nicht wollen.

Schreiben Sie ihn in zwei Teilen. Zuerst die Rolle, schlicht gesagt: wer er ist, mit wem er spricht, über welches Thema. Dann der Abschluss, ebenso wichtig: was er antworten soll, wenn die Frage außerhalb des Themas liegt. Diese zweite Hälfte ist die, die vergessen wird, und sie hält den Assistenten in der Spur.

Wie der RAG-Chatbot lässt sich die ChatGPT-Extension Ihren angemeldeten Nutzern vorbehalten, über dieselbe Option zur Beschränkung, und ihr Erscheinungsbild wird im Reiter Design eingestellt.

Sie ergibt sich unmittelbar aus der Funktionsweise: Dieser Assistent kennt Ihre Inhalte nicht. Er weiß nicht, was Sie gestern veröffentlicht haben, kennt weder Ihre Öffnungszeiten noch Ihre Preise noch den Namen Ihrer neuen Kollektion. Wenn ein Nutzer fragt, antwortet er trotzdem, mit dem, was das Modell zu wissen glaubt.

Die Systemnachricht verringert dieses Risiko, sie beseitigt es nicht. Heben Sie sich diese Extension also für Zwecke auf, bei denen die Antwort nicht von Ihnen stammen muss: ein Assistent, der berät, der umformuliert, der jemanden durch die ersten Schritte führt. Sobald die Antwort genau und überprüfbar sein muss, brauchen Sie den RAG-Chatbot.

Die Frage entscheidet sich in einer einzigen Zeile: Muss die Antwort von Ihnen kommen?

Drei Beispiele, um die Regel zu verankern.

Eine Schule. Paraigua veröffentlicht ihre Kalender, ihre Ordnung und ihre Rundschreiben. Jedes Jahr kommen dieselben Fragen wieder, zu denselben Terminen, und zu jeder steht die Antwort bereits irgendwo geschrieben. Das ist der Lehrbuchfall für RAG: Das Material existiert, es ist nur schlecht erreichbar.

Ein Reiseführer. Portland beschreibt Orte, Veranstaltungen, Routen. Ein Besucher, der fragt „was hat am Sonntagvormittag in Hafennähe geöffnet“, fragt nach etwas, das die Inhalte beantworten, das ihn aber kein Menü formulieren lässt. Wieder RAG.

Ein Kosmetiksalon. Freyja Spa hat keinen Bestand an Dokumenten, wohl aber Kundinnen, die zwischen zwei Behandlungen schwanken. Ein Assistent, den eine Systemnachricht einrahmt, der zwei oder drei Fragen stellt und zur richtigen Leistung führt, ist nützlich, ohne den Katalog auswendig kennen zu müssen. Die ChatGPT-Extension genügt, und sie kostet nichts zusätzlich.

Den RAG-Chatbot gibt es nur für Content-Apps. Eine E-Commerce-App kann ihn heute nicht einschalten. Auf dieser Linie steht die ChatGPT-Extension weiterhin zur Verfügung.

Ein Chatbot antwortet nur dann gut, wenn Ihre Inhalte antworten. Das ist die Grenze, die am häufigsten zu spät entdeckt wird. Ein Assistent, der an dreißig vage Artikel angeschlossen ist, produziert dreißig vage Antworten, und er macht ein Problem der Inhalte sichtbar, das unbemerkt blieb, solange niemand die Frage direkt stellte. Lesen Sie vor dem Einschalten noch einmal, was Sie veröffentlichen, und fragen Sie sich, ob ein Leser dort seine Antwort fände. Wenn nicht, sind die Inhalte zu bearbeiten, nicht das Modell.

Sie bleiben verantwortlich für das, was Ihre App sagt. Ein Assistent spricht unter Ihrem Namen, in Ihrer App, in Ihren Farben. Testen Sie ihn vor der Veröffentlichung mit Ihren echten Fragen, auch mit den unangenehmen, und behalten Sie die Anweisung bei, die ihm sagt, dass er zugeben soll, was er nicht weiß. Ein Assistent, der „Ich weiß es nicht, schreiben Sie uns“ antwortet, kostet Sie nichts. Ein Assistent, der Ihre Öffnungszeiten erfindet, kostet Sie einen Kunden.