Generative KI-Chatbots wie ChatGPT und die ihnen zugrundeliegenden Sprachmodelle (Large Language Models, LLMs) stellen einen bedeutenden technologischen Durchbruch dar. Seit nunmehr 3 Jahren beeindrucken sie uns mit ihren Fähigkeiten in Bezug auf das Verstehen und Generieren von Texten. Zudem ist ihr eingebettetes Welt- und Fachwissen sehr breit und oft auch überraschend tief – wenn auch bei weitem nicht lückenlos und fehlerfrei. Deshalb wird an vielen Orten intensiv experimentiert, wie man diese Sprachmodelle in verschiedensten Anwendungsfällen nutzenstiftend einsetzen und dabei die Nachteile dieser Technologien begrenzen kann.

Wir untersuchen den Nutzen von KI-Chatbots vor allem in Verbindung mit einem sehr alltäglichen Problem: der Suche nach Dokumenten bzw. relevanten Informationen, die in diesen verborgen liegen. Wir haben für unsere Kunden viele Projekte in diesem Umfeld umgesetzt und daraus unsere HIBU-Plattform entwickelt. Diese beinhaltet bereits unzählige Funktionen und ermöglicht eine schnelle und kostengünstige Entwicklung von massgeschneiderten Suchlösungen.

Ein nahtloses Zusammenspiel aus Chatbot und Suchmaschine bündelt und erweitert die individuellen Stärken beider Systeme, wie die folgenden von uns umgesetzten Anwendungsfälle zeigen:

• Benutzer suchen nach Dokumenten (oder Inhaltselementen), öffnen eines davon in einem integrierten Dokumentenviewer und nutzen den Chatbot, um ihre Fragen zu diesem einen Dokument zu stellen. Das alles geschieht in derselben Benutzeroberfläche, ohne Kontextwechsel.
• Anwender suchen nach Dokumenten und nutzen dann die Chat-Funktion, um Fragen an alle Suchergebnisse zusammen zu stellen. Auch hier bleibt der Benutzer in der Such-UI und muss sich nicht mit Kontextwechseln auseinandersetzen.
  Mit Suchausdrücken und domänenspezifischen Suchfiltern kann der Benutzer die Treffermenge zielgenau einschränken, so dass die Chat-Engine Antworten nur in den relevanten Dokumenten sucht.
• Benutzer chatten mit dem gesamten Dokumentenrepository gleichzeitig, die Chat-Funktionalität übernimmt hier effektiv auch die Rolle der Suche. Dies gibt dem Benutzer viel Flexibilität, um seine Informationsbedürfnisse zu erfüllen.

Diese Anwendungsfälle werden durch Retrieval-Augmented Generation (RAG) umgesetzt. Diese Methode stellt sicher, dass die Chat-Engine keine Antworten erfindet. Mit diesem Ansatz kann das LLM all seine Stärken beim Verstehen und Erzeugen von Sprache zeigen – es muss jedoch nicht auch das relevante Fachwissen bereitstellen. Stattdessen wird dieses Wissen in den betreffenden Dokumenten gefunden.

In jedem dieser Anwendungsfälle wird unsere Chat-Funktionalität durch eine Reihe von Komfortfunktionen angereichert, die die Benutzererfahrung und Produktivität steigern. Zum Beispiel sind Chat-Antworten mit den relevantesten Dokumentabschnitten verlinkt, die diese Antworten unterstützen. Dies ist ein substanzieller Schritt in Richtung des Ziels der „erklärbaren KI“ (“explainable AI” oder “XAI”).