2024/5 | Fachbeitrag | Tools

Generative KI braucht einen Plan

Alle wollen GenAI und zwar am besten sofort. Ein undurchdachtes "Einfach-mal-drauf-los" ist aber keine gute Idee, denn dabei droht generative KI zu einem teuren, sinnfreien und unter Umständen sogar gefährlichen Abenteuer zu werden. Hier lesen Sie die fünf wichtigsten Fragen, die Unternehmen vorab klären sollten.

^{Bildquelle: (C) Gerd Altmann / Pixabay}

1. Was wollen wir eigentlich erreichen?

Zunächst müssen sich Unternehmen im Klaren darüber sein, welchen konkreten Nutzen sie überhaupt aus generativer KI ziehen möchten. Deshalb sollten sie Anwendungsfälle identifizieren, definieren, priorisieren und vor allem verproben, um aus den dabei gesammelten Erfahrungen eine Gesamtstrategie ableiten zu können. Zu den möglichen Use Cases von GenAI zählen beileibe nicht nur die populären Chatbot-Anwendungen. Generative KI kann auch Informationen aus verschiedenen und umfangreichen Dokumenten zusammenfassen, als digitaler Assistent im First-Level-Kundensupport zum Einsatz kommen oder bestimmte Daten aus Dateien extrahieren.

2. Welches KI-Modell ist das richtige?

Abhängig vom Use Case sollte das passende KI-Sprachmodell ausgewählt werden. Neben den bekannten proprietären Modellen wie GPT von OpenAI oder auch Luminous des deutschen Anbieters Aleph Alpha existieren leistungsfähige quelloffene Lösungen aus der Open-Source-Community. Zudem unterscheiden sich die Sprachmodelle hinsichtlich der Modellgröße und der so genannten Kontextgröße, die bestimmt, wieviel Text ein Modell auf einmal sichten kann. Diese Faktoren haben Auswirkungen auf die Qualität, Kosten und Performance einer GenAI-Anwendung.

3. Welches Betriebsmodell sollten wir nutzen?

Ein wichtiger Aspekt bei der Implementierung von generativer KI ist der Datenschutz. Im sensiblen Behördenumfeld oder wenn GenAI-Anwendungen geistiges Eigentum oder persönliche Informationen nach DSGVO verarbeiten, kann es aus Compliance-Gründen erforderlich sein, diese Anwendungen On-premises zu betreiben. Dabei haben Unternehmen den Schutz ihrer Daten unter eigener Kontrolle und vermeiden zudem die Gefahr des Vendor Lock-in, müssen allerdings selbst die nötige GPU-Infrastruktur aufbauen. Beim SaaS-Betriebsmodell ist zu beachten, dass die Kosten derzeit noch schwer kalkulierbar sind. Viele große SaaS-Anbieter rechnen momentan nach einem komplizierten "Token-basierten" Verfahren ab, das sich an der Anzahl der Wörter in den Fragen und Antworten orientiert.

4. Wie integrieren wir unsere Daten?

Die meisten Use Cases erfordern es, Sprachmodelle mit seinen eigenen Daten einzusetzen. Eine Möglichkeit dafür ist, die Modelle mit diesen Daten zu trainieren. Dabei besteht allerdings weiterhin das den Sprachmodellen inhärente Risiko von Halluzinationen. Außerdem müssen die Modelle regelmäßig aufwändig und kostspielig neu trainiert werden, um up to date zu bleiben. Eine alternative Möglichkeit bietet Retrieval Augmented Generation (RAG) durch die Kombination von generativer KI mit Enterprise Search. Dabei werden die Retrieval-Systeme der Enterprise Search eingebunden, die bei Anfragen die organisationseigenen Daten nach relevanten Informationen durchsuchen und diese dann dem Sprachmodell zur Generierung der Antwort zur Verfügung stellen. Dadurch basieren die Antworten immer auf aktuellen Informationen und das Risiko für Halluzinationen sinkt signifikant. Zudem berücksichtigt die Enterprise Search automatisch die Zugriffsrechte auf die Unternehmensdaten. Mitarbeiter oder Kunden erhalten in ihren Antworten nur Informationen, für die sie auch berechtigt sind. Dieser zentrale Sicherheitsaspekt wird in der allgemeinen GenAI-Euphorie häufig übersehen.

5. Wie lösen wir Datensilos auf?

Wenn GenAI-Anwendungen nur lückenhafte Daten zur Verfügung stehen, produzieren sie unvollständigen und fehlerhaften Output. Organisationen müssen deshalb einen Weg finden, Datensilos nutzbar zu machen. Eine gute Möglichkeit dazu bietet ihnen Software für Enterprise Search. Sie kann über Konnektoren die unterschiedlichsten Datenquellen anbinden, egal, ob es sich dabei um strukturierte oder unstrukturierte Daten handelt, und sie in einem zentralen Suchindex zusammenführen. Damit steht eine ganzheitliche und valide Datenbasis für GenAI-Anwendungen zur Verfügung, die im Rahmen einer RAG-Architektur von der Enterprise-Search-Software durchsucht werden kann.

"Organisationen brauchen eine GenAI-Strategie", erklärt IntraFind-Vorstand Franz Kögl. "Ihre Prozesse kennen sie selbst am besten und können deshalb auch selbst am besten ausloten, von welchen Use Cases sie individuell am meisten profitieren. Erfahrene Experten und Dienstleister können ihnen dann dabei helfen, die geeigneten KI-Modelle und Betriebsoptionen auszuwählen, ihre Daten zu integrieren und passgenaue Lösungen zu implementieren."

>> Mehr Infos: www.intrafind.com