Der Markt für Large Language Models wächst stetig - es gibt große und kleinere Sprachmodelle, sehr populäre und weniger bekannte, Open-Source-Varianten und proprietäre. Es verwundert daher nicht, dass bei vielen Unternehmen und Behörden Unsicherheit herrscht, welches Large Language Model denn nun für ihren spezifischen Einsatzzweck das richtige ist. Mit diesen Tipps von IntraFind wird die Suche zum Erfolg.
Tipp 1: Auch kleinere Modelle in Betracht ziehen?
Die größten LLMs wie GPT-4.5/o3, Gemini 2.0 oder Claude 3 bieten beeindruckende Möglichkeiten. Doch gerade für Anwendungen wie Chatbots in Kombination mit Suchsoftware sind kleinere Modelle durchaus ausreichend. Das liegt daran, dass das Modell nicht selbst das Wissen für Antworten erarbeiten muss, sondern von der Suchsoftware erhält. Je nach Use Case können somit auch kleinere LLMs vergleichbare qualitativ hochwertige Ergebnisse wie die großen liefern - sind dabei aber oft kosteneffizienter und schneller.
Tipp 2: Sprachunterstützung prüfen?
Es gibt beeindruckende Vision-Language-Modelle, die Text aus Bilddateien verarbeiten können - ganz ohne OCR (Optical Character Recognition), also ohne optische Zeichen- und Texterkennung. Solche Modelle sind - wie LLMs auch - überwiegend mit englischsprachigen (und in chinesischen Modellen auch chinesischsprachigen) Daten trainiert. Da hiesige Unternehmen und Behörden aber vor allem Modelle für deutschsprachige Inhalte benötigen, sollten sie die Sprachfähigkeiten des Wunsch-LLMs genau prüfen - beispielsweise, ob das Modell Umlaute erkennt und auch deutsche Grammatik gut verarbeitet.
Tipp 3: Kontextlänge berücksichtigen?
Manche LLMs können große Informationsmengen mühelos auf einmal verarbeiten, das ist gerade bei der Zusammenfassung langer Texte oder umfangreicher Dokumente hilfreich. Bei klassischen Suchanfragen können aber auch kleinere Modelle ausreichen, für die die Suchsoftware relevante Inhalte vorab gezielt extrahiert und bereitstellt. Das LLM muss dann nicht ganze Dokumente verarbeiten, was Rechenleistung spart und Kosten reduziert.
Tipp 4: Open-Source-Modelle und proprietäre LLMs vergleichen?
Quelloffene Modelle wie Llama 3, Mistral Small oder OpenEuroLLM sind anpassungsfähig, agieren nachvollziehbar und bieten Unternehmen wie auch Behörden die Möglichkeit, sie auf eigener Hardware (on-premises) kosteneffizient zu betreiben. Das reduziert Datenschutzrisiken auf ein Minimum. Die Modelle sind universell nutzbar und bieten einen ausgewogenen Mix aus Sprachfähigkeit, Geschwindigkeit und Kosteneffizienz. Proprietäre Modelle erfordern hingegen keine eigene Hardware, da deren Anbieter sie in der Cloud beitreiben. Um die Kontrolle über die eigenen Daten allerdings sicher zu behalten, ist eine On-premises-Lösung eindeutig die bessere Wahl, selbst wenn die Betreiber proprietärer Lösungen versprechen, keine Nutzerdaten für das Training ihrer Modelle zu verwenden. Unternehmen sollten zudem an den US Cloud Act denken, der der US-Regierung jederzeit ermöglicht, auch auf die Daten zuzugreifen, die auf deutschen Servern der Hyperscaler liegen. Data Governance und die Vermeidung eines "Hyperscaler-Lock-ins" sollten für hiesige Firmen oberste Priorität haben. Es gibt deutsche und europäische Alternativen.
Tipp 5: Kosten und Sicherheit im Blick behalten?
Ob Unternehmen Cloud-Modelle wie GPT-4o nutzen oder lieber ein LLM on-premises betreiben wollen, ist neben der Data Governance und der Datensicherheit auch eine Frage des Aufwands und der Kosten. Eine Cloud-Lösung ist sehr leistungsfähig, allerdings können umfangreiche Use Cases schnell sehr teuer werden. Das liegt daran, dass jede Abfrage eine bestimmte Anzahl an sogenannten Tokens verbraucht - also den Einheiten, in die ein Text für die Verarbeitung durch ein Sprachmodell zerlegt wird. Je mehr Abfragen durchgeführt werden und je umfangreicher sie sind, desto teurer wird der Use Case. In eigene LLM-gerechte IT-Infrastruktur zu investieren, lohnt sich für Unternehmen und Behörden, die langfristige Unabhängigkeit und hohen Datenschutz gewährleisten wollen.
"Es ist nicht ganz einfach, im KI-Dschungel wirklich durchzublicken - das perfekte Modell zu evaluieren, hängt sowohl vom Einsatzfall als auch dem IT-Infrastrukturszenario ab", betont Franz Kögl, Vorstand bei IntraFind. "Umso wichtiger ist es daher, auf einen erfahrenen Partner zu setzen, der durch seine Expertise aus zahlreichen Projekten und systematischen Vergleichen auf einer internen Benchmarking-Plattform das beste LLM für unterschiedliche Unternehmensanforderungen empfehlen kann."
Mehr Infos: www.intrafind.com