2024/5 | Fachbeitrag | Tools

Generative KI braucht einen Plan

Alle wollen GenAI und zwar am besten sofort. Ein undurchdachtes "Einfach-mal-drauf-los" ist aber keine gute Idee, denn dabei droht generative KI zu einem teuren, sinnfreien und unter Umständen sogar gefährlichen Abenteuer zu werden. Hier lesen Sie die fünf wichtigsten Fragen, die Unternehmen vorab klären sollten.

Bildquelle: (C) Gerd Altmann / Pixabay

1. Was wollen wir eigentlich erreichen?

Zunächst müssen sich Unternehmen im Klaren darüber sein, welchen konkreten Nutzen sie überhaupt aus generativer KI ziehen möchten. Deshalb sollten sie Anwendungsfälle identifizieren, definieren, priorisieren und vor allem verproben, um aus den dabei gesammelten Erfahrungen eine Gesamtstrategie ableiten zu können. Zu den möglichen Use Cases von GenAI zählen beileibe nicht nur die populären Chatbot-Anwendungen. Generative KI kann auch Informationen aus verschiedenen und umfangreichen Dokumenten zusammenfassen, als digitaler Assistent im First-Level-Kundensupport zum Einsatz kommen oder bestimmte Daten aus Dateien extrahieren.

2. Welches KI-Modell ist das richtige?

Abhängig vom Use Case sollte das passende KI-Sprachmodell ausgewählt werden. Neben den bekannten proprietären Modellen wie GPT von OpenAI oder auch Luminous des deutschen Anbieters Aleph Alpha existieren leistungsfähige quelloffene Lösungen aus der Open-Source-Community. Zudem unterscheiden sich die Sprachmodelle hinsichtlich der Modellgröße und der so genannten Kontextgröße, die bestimmt, wieviel Text ein Modell auf einmal sichten kann. Diese Faktoren haben Auswirkungen auf die Qualität, Kosten und Performance einer GenAI-Anwendung.

3. Welches Betriebsmodell sollten wir nutzen?

Ein wichtiger Aspekt bei der Implementierung von generativer KI ist der Datenschutz. Im sensiblen Behördenumfeld oder wenn GenAI-Anwendungen geistiges Eigentum oder persönliche Informationen nach DSGVO verarbeiten, kann es aus Compliance-Gründen erforderlich sein, diese Anwendungen On-premises zu betreiben. Dabei haben Unternehmen den Schutz ihrer Daten unter eigener Kontrolle und vermeiden zudem die Gefahr des Vendor Lock-in, müssen allerdings selbst die nötige GPU-Infrastruktur aufbauen. Beim SaaS-Betriebsmodell ist zu beachten, dass die Kosten derzeit noch schwer kalkulierbar sind. Viele große SaaS-Anbieter rechnen momentan nach einem komplizierten "Token-basierten" Verfahren ab, das sich an der Anzahl der Wörter in den Fragen und Antworten orientiert.

4. Wie integrieren wir unsere Daten?

Die meisten Use Cases erfordern es, Sprachmodelle mit seinen eigenen Daten einzusetzen. Eine Möglichkeit dafür ist, die Modelle mit diesen Daten zu trainieren. Dabei besteht allerdings weiterhin das den Sprachmodellen inhärente Risiko von Halluzinationen. Außerdem müssen die Modelle regelmäßig aufwändig und kostspielig neu trainiert werden, um up to date zu bleiben. Eine alternative Möglichkeit bietet Retrieval Augmented Generation (RAG) durch die Kombination von generativer KI mit Enterprise Search. Dabei werden die Retrieval-Systeme der Enterprise Search eingebunden, die bei Anfragen die organisationseigenen Daten nach relevanten Informationen durchsuchen und diese dann dem Sprachmodell zur Generierung der Antwort zur Verfügung stellen. Dadurch basieren die Antworten immer auf aktuellen Informationen und das Risiko für Halluzinationen sinkt signifikant. Zudem berücksichtigt die Enterprise Search automatisch die Zugriffsrechte auf die Unternehmensdaten. Mitarbeiter oder Kunden erhalten in ihren Antworten nur Informationen, für die sie auch berechtigt sind. Dieser zentrale Sicherheitsaspekt wird in der allgemeinen GenAI-Euphorie häufig übersehen.

5. Wie lösen wir Datensilos auf?

Wenn GenAI-Anwendungen nur lückenhafte Daten zur Verfügung stehen, produzieren sie unvollständigen und fehlerhaften Output. Organisationen müssen deshalb einen Weg finden, Datensilos nutzbar zu machen. Eine gute Möglichkeit dazu bietet ihnen Software für Enterprise Search. Sie kann über Konnektoren die unterschiedlichsten Datenquellen anbinden, egal, ob es sich dabei um strukturierte oder unstrukturierte Daten handelt, und sie in einem zentralen Suchindex zusammenführen. Damit steht eine ganzheitliche und valide Datenbasis für GenAI-Anwendungen zur Verfügung, die im Rahmen einer RAG-Architektur von der Enterprise-Search-Software durchsucht werden kann.

"Organisationen brauchen eine GenAI-Strategie", erklärt IntraFind-Vorstand Franz Kögl. "Ihre Prozesse kennen sie selbst am besten und können deshalb auch selbst am besten ausloten, von welchen Use Cases sie individuell am meisten profitieren. Erfahrene Experten und Dienstleister können ihnen dann dabei helfen, die geeigneten KI-Modelle und Betriebsoptionen auszuwählen, ihre Daten zu integrieren und passgenaue Lösungen zu implementieren."

>> Mehr Infos: www.intrafind.com

Diese Artikel könnten Sie auch interessieren

Was Mitarbeiter wirklich können – und was nicht

WISSENplus
Viele Unternehmen ahnen nicht, welche ungenutzten Potenziale in ihnen schlummern: in den Führungskräften und Mitarbeitenden, in deren Kompetenzen, in den Prozessen und Abläufen, in den Führungsstrukturen. So kommt es zur Potenzialvergeudung, manchmal sogar zur Potenzialvernichtung. Und das allein aufgrund der Tatsache, dass die Entscheider in den Firmen keinen oder nur einen unzureichenden Überbl...

Weiterlesen

Analogt Ihr noch oder digitalisiert Ihr schon?

WISSENplus
Aktuell schaltet die Digitalisierung den Turbo an. Neue KI-gestützte Technologien verändern die Spielregeln in der Wirtschafts- und Arbeitswelt radikal. Nur wer hier alte Gewohnheiten loslässt, tradierte Geschäftsprozesse ändert und Disruption als Chance begreift, kann in einer diskontinuierlichen Welt bestehen. Wie aber funktioniert das? ...

Weiterlesen

Enterprise Search – ein Überblick: Die wichtigsten Suchmethoden und Suchtechnologien

WISSENplus
"Wer auf die Suche geht, muss zuvor wissen, wo er suchen soll." Nein, das ist keine Weisheit des Konfuzius, sondern leider noch immer gelebte Realität für viele Mitarbeitende. Neue Lösungen sollen - vor allem mit Hilfe Künstlicher Intelligenz (KI) - die Enterprise Search zukünftig verbessern. Doch was ist Suche überhaupt? Was kann sie in der Unternehmenspraxis leisten - und was nicht? ...

Weiterlesen

Was KI leisten kann – und wie dieser Change gelingt

WISSENplus
Die künstliche Intelligenz wird künftig der stärkste Changetreiber in unserer Gesellschaft sein. Davon ist Innovations- und KI-Experte Dr. Jens-Uwe Meyer überzeugt. Aber vor allem viele Mittelständler haben die Bedeutung von KI noch nicht vollumfänglich erkannt - bzw. zögern noch, auf den KI-Zug aufzuspringen. Warum Abwarten keine Option ist und wie man sich dem Thema KI am besten nähert, erkl...

Weiterlesen

Mit Mitarbeiter-Profiling gegen den Fachkräftemangel?

WISSENplus
Dass der Fachkräftemangel keine Erfindung pessimistischer Wirtschaftspropheten ist, spüren nicht nur die Unternehmen, sondern auch ihre Kunden Tag für Tag. Die Verkaufsstärke leidet, die Servicequalität nimmt ab und ein prekärer Verlust an organisationalem Wissen und Innovationskraft ist zu verzeichnen. In diesem Szenario kommt es im Unternehmen darauf an, alle möglichen personellen Energien ma...

Weiterlesen

KI – die Zukunft des Unternehmenswissens?

WISSENplus
Künstliche Intelligenz sorgt für Bewegung und gleichzeitig für Unruhe. Letztlich hinterlässt das Hantieren mit Daten auch Fragen, manchmal Befürchtungen und gelegentlich Vorbehalte. Die KI hat währenddessen alle Bereiche des unternehmerischen Handelns und betriebswirtschaftlichen Denkens befallen. Das Unternehmenswissen mit KI in Zusammenhang zu bringen, scheint dagegen als Thema noch etwas sper...

Weiterlesen

KI in der Praxis: Welche Rolle spielt der „Faktor Mensch“?

WISSENplus
Generative KI ist im Job-Alltag angekommen: Umfragen zufolge verwendet beinahe jeder Zweite beispielsweise ChatGPT bereits im beruflichen Kontext. Doch viele Unternehmen sind noch nicht durchgreifend auf das KI-Zeitalter vorbereitet. Es braucht es zum einen Leitlinien für die Anwendung, außerdem eine hohe Lernbereitschaft der Nutzer. Gefragt ist daher eine Kultur, die KI-Implementierung und -Einsatz über...

Weiterlesen

Mehr Produktivität, weniger Arbeitszeit: KI-Automatisierung bei Trivago, Jägermeister & Co.

WISSENplus
Das klassische Bild der Mitarbeitenden, die ihren Dienst von Montag bis Freitag zwischen 9 und 17 Uhr erledigen, bröckelt. Die neue Arbeitswelt ködert auf der einen Seite mit agilen, asynchronen Arbeitszeitmodellen, ist auf der Schattenseite allerdings geprägt von enormer Volatilität, Leistungsdruck und einem akuten Fachkräftemangel. Kein Wunder also, dass sich Erschöpfung breitmacht. Laut einer...

Weiterlesen