2. Mai 2025 Deine Daten, deine Kontrolle: lokale KI-Modelle für dein Business

Lokale LLMs sind Modelle, die wie ihre Brüder in der Cloud genutzt werden können. Statt über eine API, also über eine Schnittstelle in die Cloud der Anbieter, können diese Modelle lokal (on Premise) ausgeführt werden. Dies kann beispielsweise auf dem PC des Anwenders geschehen, aber auch auf einem internen Server, der im Grunde ähnlich wie die API der grossen Anbieter funktionieren kann. In der Geschäftswelt, wo eine zunehmende Transformation in die Cloud vorangetrieben wird, kann man sich berechtigterweise die Frage stellen, wie dieses Puzzleteil in das Gesamtbild fortschrittlicher Unternehmenstransformationen passen soll. Es gibt jedoch entscheidende Vorteile, die für bestimmte Use-Cases erfolgskritisch sind:

Bedingungsloser Datenschutz: Da beim Ausführen von lokalen Modellen alles «offline» geschieht, gelangen keine Daten an externe Unternehmen. Dies ist insbesondere von Wichtigkeit, falls es sich um internes geistiges Eigentum oder hochsensitive Kundendaten handelt, die auf keinen Fall nach aussen gelangen sollten, oder wo eine Weitergabe an Dritte mit hohen rechtlichen Hürden verbunden ist, zum Beispiel durch Regularien wie der DSGVO.

Keine Abhängigkeit: Die Abhängigkeit von grossen Cloud-Anbietern wird umgangen. Du hast die freie Wahl, welches Modell du wofür und wie einsetzt. Im Rahmen der Möglichkeiten der lokalen Modelle entscheidet nur dein Unternehmen – es gibt niemanden, der dir reinredet oder mitbestimmt, keine Geschäftsbedingungen, die sich ändern oder das Angebot in anderer Weise beeinflussent. Zudem besteht die Möglichkeit, dank Open Source Frameworks wie OLLAMA stetig die neusten und performantesten Modelle zu nutzen, ohne einen Anbieterwechsel vollziehen zu müssen.

Keine Abonnementgebühren: Die Kosten für die Nutzung von Large Language Models für Unternehmen können sich schnell aufsummieren, da zwar eine einzelne API-Anfrage meist nur wenig kostet, sich diese Ausgaben jedoch rasch addieren können. Bei SaaS-Angeboten (Software as a Service) für den Business-Gebrauch besteht oft der Zwang, pro Nutzer zu bezahlen. Bei lokalen LLM hingegen liefert eine einmalige Investition über eine lange Zeit entsprechende Ressourcen, die lediglich durch die Limitierungen der Hardware und die Fähigkeiten der Modelle begrenzt sind.

Die technologischen Fortschritte, insbesondere der letzten Monate, haben die Grösse der Modelle reduziert, während die Fähigkeiten drastisch gestiegen sind. Kleinere Modelle werden beispielsweise aus grossen Modellen destilliert. Dabei trainiert ein grösseres Modell ein kleineres Modell, so dass die Essenz der Fähigkeiten trotz kleinerer Grösse weitestgehend beibehalten wird – ähnlich wie beim Komprimieren eines Bildes. Zudem gibt es Modelle, die sich auf spezielle Anwendungsfälle spezialisiert haben, zum Beispiel fürs Programmieren. Auch besteht die Möglichkeit, ein Modell mit Trainingsdaten feinabzustimmen («Finetuning»), um es auf bestimmte Anwendungsfälle im Unternehmen zu spezialisieren.

Text-Vervollständigung: Erstellung von Texten für Briefe, E-Mails oder Mitteilungen im Kundenportal, die dynamisch aus den vorliegenden Kundendaten und dem Sachverhalt generiert werden. Durch die Erstellung eines Entwurfs kann der Sachbearbeiter effizienter hochpersonalisierte Anliegen und Prozesse abwickeln und dank der Mensch-KI-Kollaboration kann trotz einer Effizienzsteigerung die Korrektheit gewährleistet werden («Human-in-the-Loop»). Da hochsensitive Kundendaten involviert sind, wäre eine Verarbeitung in der Cloud aus datenschutztechnischer Sicht sehr heikel und mit grösseren Risiken verbunden.

Text-Klassifikation: Lokale Modelle können eingehende Texte klassifizieren und somit zu einer automatisierten Vorsortierung und Priorisierung beitragen. Bei Kundenanfragen, Support-Tickets oder internen Dokumenten kann das Modell den Inhalt analysieren und beispielsweise nach Dringlichkeit, Thema oder zuständiger Abteilung kategorisieren und entsprechend weiterleiten. Dies beschleunigt die Bearbeitungszeit erheblich und reduziert Fehlzuordnungen. Dies ist insbesondere von Vorteil, wenn dein Unternehmen kundenzentriert agiert und es in der Natur des Unternehmens liegt, dass es zu Kundenkontakt kommt – wie beispielsweise in Versicherungen und Banken.

Interne vertrauliche Wissenssuchmaschine: Wenn du grossen Wert auf die Vertraulichkeit deiner Geschäftsgeheimnisse legst, aber dennoch eine intelligente Suchmaschine wünschst, könnte eine RAG («retrieval-augmented generation») genau die passende Lösung sein. Dabei verschmelzen zwei Technologien: Zuerst wird das Wissensmaterial (Prozessdokumentationen, Anleitungen und andere Wissensquellen) mithilfe eines Transformermodells abgetastet und es werden Vektoren der Inhalte berechnet, die die Bedeutung der Textpassagen abbilden. Wird anschliessend eine Anfrage gesendet, werden auch für deren Inhalte Vektoren generiert und mit der Datenbank abgeglichen. Dadurch können relevante Dokumente und Passagen ermittelt werden, welche in einem zweiten Schritt als Kontext von einem LLM verarbeitet werden können und dem Nutzer so basierend auf den Quellen eine Antwort liefern können. Dies ermöglicht präzise Antworten und reduziert das Auftreten von Halluzinationen.

Dies sind drei Denkanstösse für Anwendungsszenarien. Die Möglichkeiten sind jedoch nahezu unbegrenzt und es kommt auf die individuellen Bedürfnisse und Prozesse an, die in deinem Unternehmen bestehen und aus denen sich Chancen zur Anwendung ergeben können.

Die Anwendung von lokalen LLMs lohnt sich besonders für spezialisierte Anwendungsfälle, bei denen Datenschutz und Unabhängigkeit im Vordergrund stehen. Es bieten sich Chancen, die Kundenzufriedenheit durch Reaktionszeit und hyperpersonalisierte Anwendungen zu erhöhen, Kosten zu senken und Mitarbeitende auf neue Effizienzebenen zu heben, die sonst durch Cloud-Lösungen nicht abgedeckt werden könnten. Besonders regulierte Branchen wie Banken und Versicherungen profitieren von der sicheren Datenverarbeitung ohne externe Übertragung. Die jüngsten technologischen Fortschritte haben die Einstiegshürden drastisch gesenkt – was vor zwei Jahren noch Spezialisten mit teurer Hardware vorbehalten war, ist heute mit überschaubarem Aufwand in Unternehmen realisierbar.

Dennoch ist der lokale Ansatz nicht für jeden Anwendungsfall optimal. Wo extreme Skalierbarkeit, höchste Modellgrösse, Cloud-Integrationen oder minimaler Implementierungsaufwand gefordert sind, bleiben Cloud-Dienste im Vorteil. Die Zukunft liegt vermutlich in hybriden Ansätzen, bei denen lokale LLMs und Cloud-Lösungen nicht als Konkurrenten, sondern als komplementäre Technologien eingesetzt werden. Beide bieten unterschiedliche Arten von Mehrwert, überschneiden sich zwar in vielen Anwendungsfällen, ergänzen sich aber auch gegenseitig: Während Unternehmen für spezialisierte Aufgaben mit hochsensitiven Daten auf lokale Modelle setzen können, erfüllen KI-Lösungen in der Cloud andere wichtige Bedürfnisse, sodass sich durch die gezielte Kombination beider Ansätze ein optimales Gesamtergebnis erreichen lässt.

Die Grenzen der Möglichkeiten verschieben sich Tag für Tag und der entscheidende erste Schritt besteht darin, mit einem Strategieplan und einem einfachen Proof-of-Concept deine Möglichkeiten für die spezifischen Bedürfnisse und Prozesse deines Unternehmens zu erkunden und zu evaluieren. Wenn du dich für dieses Thema interessierst, stehen wir dir für eine unverbindliche Beratung gerne zur Verfügung, um die optimale Strategie für dein Unternehmen zu entwickeln – datenschutzkonform, kosteneffizient und angepasst auf deine Bedürfnisse.