Lokales LLM oder Cloud-KI? So finden Mittelständler das richtige Betriebsmodell

Wenn sensible Unternehmensdaten verarbeitet werden sollen, heißt es schnell: Dann betreiben wir das LLM lieber selbst. Und tatsächlich kann ein lokal bzw. auf eigener Infrastruktur betriebenes Large Language Model sinnvoll sein – beispielsweise wenn regulatorische oder interne Vorgaben verlangen, dass bestimmte Daten eine definierte Infrastruktur nicht verlassen dürfen. Doch eine On-Premises-KI ist nicht automatisch die sicherste oder wirtschaftlichste Lösung für ein mittelständisches Unternehmen. Je nach Schutzbedarf, Use Case und vorhandener IT-Architektur können auch gezielte Datenklassifizierung, Enterprise-Cloud-Angebote, isolierte Cloud-Deployments oder hybride Modelle infrage kommen. Wir zeigen, wann ein lokales LLM für den Mittelstand sinnvoll ist, welchen Aufwand Unternehmen dabei berücksichtigen sollten und welche Alternativen es gibt.

Das Wichtigste in Kürze

  • Ein lokales LLM bietet weitreichende Kontrolle über Infrastruktur und Datenverarbeitung, bringt aber gleichzeitig mehr technische und organisatorische Verantwortung mit sich.
  • Sensible Daten allein sind kein ausreichender Grund, die gesamte KI-Infrastruktur lokal zu betreiben. Entscheidend sind der konkrete Schutzbedarf und die Anforderungen des jeweiligen Use Cases.
  • Neben einem lokalen Betrieb kommen auch gezielte Datenklassifizierung, Enterprise-Cloud-Angebote, isolierte Cloud-Deployments oder hybride Modelle infrage.
  • Häufig ist ein hybrider Ansatz in mittelständischen Unternehmen sinnvoll: Besonders schützenswerte Daten werden lokal oder in stärker isolierten Umgebungen verarbeitet, andere Daten in freigegebenen Cloud-KI-Diensten.
  • Die zentrale Frage lautet bei hybriden Szenarien: Welche Daten dürfen mit welchem KI-Dienst für welchen Zweck verarbeitet werden?

Was ist der Unterschied zwischen lokalem LLM und Cloud-KI?

Bei einer Cloud-KI wird das KI-Modell als Dienst über die Infrastruktur eines Anbieters oder Cloud-Providers bereitgestellt. Betrieb, Skalierung und große Teile der zugrunde liegenden Infrastruktur übernimmt dabei der Anbieter.

Bei einem lokal bzw. selbst betriebenen LLM wird das Modell im eigenen Rechenzentrum oder innerhalb einer eigens kontrollierten Infrastruktur betrieben. In diesem Fall liegt wesentlich mehr Verantwortung beim Unternehmen selbst. Erforderlich ist hierfür ein Open-Weight-Modell. Bei einem Open-Weight-Modell stehen die trainierten Modellgewichte öffentlich zum Download bereit, sodass Unternehmen das Modell auf eigener oder selbst gewählter Infrastruktur ausführen können. Beispiele sind unter anderem gpt-oss von OpenAI sowie Open-Weight-Modelle von Mistral, Meta oder Qwen.

Was müssen mittelständische Unternehmen beim Betrieb eines lokalen LLMs beachten?

Während Unternehmen durch ein lokales LLM weitreichende Kontrolle über Infrastruktur und Verarbeitung erhalten, übernehmen sie damit gleichzeitig auch deutlich mehr Verantwortung.

Für einen produktiven Betrieb benötigen Unternehmen je nach Anwendungsfall unter anderem:

  • GPU- und Compute-Infrastruktur
  • Open-Weight-Modell
  • RAG- und Embedding-Komponenten
  • Vektordatenbanken
  • Identitäts- und Berechtigungsmanagement
  • Logging und Monitoring
  • Netzwerksegmentierung
  • Backup- und Verfügbarkeitskonzepte
  • Update-, Patch- und Security-Prozesse

Ein lokales LLM verlagert damit nicht nur Daten – sondern wie bei jeder On-Premises-Lösung – auch die Betriebsverantwortung und den Aufwand ins eigene Unternehmen.

EBF Fokus Security

Wann ist ein lokales LLM sinnvoll?

Ein lokaler KI-Betrieb kommt insbesondere dann infrage, wenn sehr hohe Anforderungen an Datenkontrolle und Infrastruktur bestehen oder konkrete regulatorische beziehungsweise unternehmensinterne Vorgaben eine Verarbeitung in externen Diensten ausschließen.

Das kann beispielsweise bei besonders schutzbedürftigen Daten oder streng abgeschotteten Umgebungen relevant sein.

Sensible Daten bedeuten aber nicht zwangsläufig, dass ein lokales LLM wirklich notwendig ist oder dass alle Daten mit einem lokalen LLM verarbeitet werden müssen. Entscheidend ist, welche Daten tatsächlich besonders geschützt werden müssen und welche Anforderungen für den konkreten Use Case gelten.

Einblick in die Praxis

EBF-Mitarbeiter

„In unseren Kundenprojekten beginnt die Entscheidung für ein KI-Betriebsmodell beim Schutzbedarf der Daten und den Anforderungen des Anwendungsfalls. Auf dieser Grundlage bewerten wir, welches Modell oder welche Kombination sinnvoll ist. Besonders sensible Inhalte lassen sich gezielt schützen oder von der KI-Verarbeitung ausschließen.“

Robert Hamel Solution Architect EBF

Wann ist ein lokales LLM nicht erforderlich und welche Alternativen gibt es für den Mittelstand?

Bei der Architekturentscheidung sollten Unternehmen Datenschutz, Sicherheit, technisches Setup, Aufwand und Kosten gemeinsam betrachten und einen genauen Blick auf die sensiblen Daten werfen. Auf dieser Grundlage können dann verschiedene Alternativen bewertet werden:

  • 1. Besonders sensible Daten gezielt schützen

    Nicht jede Information in einem Unternehmen hat denselben Schutzbedarf. Geht es beispielsweise nur um bestimmte besonders sensible Informationen wie etwa Krankmeldungen, kann es sinnvoller sein, diese gezielt zu schützen, statt die gesamte KI-Infrastruktur lokal aufzubauen.

    Im Microsoft-Umfeld können beispielsweise Microsoft Purview, Sensitivity Labels, Berechtigungen und weitere Compliance-Mechanismen eingesetzt werden, um besonders schützenswerte Inhalte zu klassifizieren und deren Verarbeitung einzuschränken.

    Wichtig ist dabei aber eine genaue Konfiguration: Ein Sensitivity Label allein bedeutet nicht automatisch, dass Inhalte in jedem Copilot-Szenario vollständig von der KI-Verarbeitung ausgeschlossen sind.

  • 2. Enterprise-Angebote von KI-Anbietern nutzen

    Wie bei anderen Cloud-Lösungen gibt es auch bei Cloud-KI einen erheblichen Unterschied zwischen Privat- und Unternehmens-Angeboten: So ist Copilot z.B. darauf ausgelegt, bestehende Microsoft-365-Sicherheits-, Identitäts- und Compliance-Mechanismen zu nutzen (inkl. Entra ID, bestehenden Zugriffsrechte, DLP, Retention sowie Purview). Und auch OpenAI und Anthropic bieten Geschäftskunden zusätzliche Datenschutz-, Sicherheits- und Governance-Funktionen an. Dazu gehört, dass Unternehmensdaten bei ChatGPT Business und Enterprise, bei der OpenAI API und bei den kommerziellen Angeboten von Claude (Team und Enterprise) standardmäßig nicht zum Training der Modelle verwendet werden. Je nach Tarif und Anbieter stehen darüber hinaus Funktionen für Zugriffskontrolle, Datenaufbewahrung, Auditierung oder Administration zur Verfügung.

    Das bedeutet allerdings nicht, dass jedes Enterprise-Angebot automatisch zu jedem Schutzbedarf passt. Datenresidenz, Aufbewahrungsfristen, Subprozessoren, eingesetzte Modelle und konkrete Vertragsbedingungen sollten weiterhin geprüft werden.

  • 3. KI in einer stärker isolierten Cloud-Umgebung betreiben

    Zwischen einem öffentlichen SaaS-Angebot und einem vollständig lokal betriebenen LLM gibt es weitere Varianten für den Mittelstand. KI-Dienste können beispielsweise über Cloud-Plattformen mit privaten Netzwerkverbindungen, Private Endpoints oder weiteren Sicherheitsmechanismen bereitgestellt werden. Dadurch lässt sich der Zugriff stärker einschränken und in eine bestehende Cloud- und Netzwerkarchitektur integrieren. Auch verschiedene Modelle der großen Anbieter können inzwischen über solche Cloud-Plattformen bereitgestellt werden.

    Ein solches Setup kann eine Option sein, wenn Unternehmen mehr Kontrolle über Netzwerk, Identitäten und Infrastruktur benötigen, ohne den vollständigen technischen Betrieb eines LLM selbst übernehmen zu wollen.

  • 4. Ein hybrides Modell nutzen

    In vielen Fällen muss sich ein Unternehmen gar nicht für ein Betriebsmodell entscheiden. So können Daten, deren Schutzklasse eine Verarbeitung in einer freigegebenen Cloud-KI zulässt, bei Copilot, ChatGPT & Co. verarbeitet werden, während besonders schützenswerte Informationen über stärker isolierte oder lokal betriebene Modelle verarbeitet werden.

    Die zentrale Governance-Frage lautet dann: Welche Daten dürfen mit welchem KI-Dienst für welchen Zweck verarbeitet werden?

    Diese Zuordnung ist nicht nur bei der Entscheidung zwischen Cloud, Private Deployment und On-Premises entscheidend. Sie hilft auch dabei, unterschiedliche KI-Tools innerhalb eines Unternehmens kontrolliert einzusetzen. Aus einzelnen KI-Lösungen entsteht so eine steuerbare KI-Architektur für den Mittelstand.

Fünf Alternativen für den Schutz sensibler Daten im Überblick

Betriebsmodell Gezielte Ausnahme von Daten Enterprise-SaaS Isoliertes Cloud-Deployment Selbst betriebenes LLM Hybrides Modell
Beschreibung Besonders schützenswerte Inhalte klassifizieren und deren Verarbeitung einschränken. KI als fertigen Unternehmensdienst nutzen, etwa Microsoft 365 Copilot oder ChatGPT Enterprise. KI über eine Cloud-Plattform mit gezielt eingeschränkten Zugriffswegen bereitstellen, beispielsweise über private Netzwerkverbindungen. Ein KI-Modell auf eigener oder selbst kontrollierter Infrastruktur betreiben, beispielsweise im eigenen Rechenzentrum. Mehrere Betriebsmodelle kombinieren und Daten sowie Anwendungsfälle gezielt zuordnen.
Vorteile Besonders sensible Daten lassen sich durch gezielte Schutzmaßnahmen von der Verarbeitung durch KI ausschließen, ohne die KI-Nutzung bei anderen Daten einzuschränken. Schneller Einstieg; Anbieter übernimmt Modellbetrieb und Infrastruktur. Mehr Kontrolle über Netzwerk, Zugriffe und Integration in die eigene IT. Weitreichende Kontrolle über Infrastruktur, Modell und Datenverarbeitung. Unterschiedliche Anforderungen an Schutz, Leistung und Wirtschaftlichkeit lassen sich berücksichtigen.
Nachteile/Grenzen Klassifizierung und Regeln müssen gepflegt und getestet werden. Ein Label allein verhindert die KI-Verarbeitung nicht automatisch. Berechtigungen, Datenverarbeitung und Vertragsbedingungen müssen geprüft werden; begrenzte Kontrolle über die Infrastruktur. Zusätzlicher Konfigurations- und Betriebsaufwand; Isolation allein gewährleistet noch keine vollständige Datensicherheit. Hoher Aufwand durch Eigenverantwortung für Rechenleistung, Sicherheit, Updates, Verfügbarkeit und Modellqualität. Zusätzlicher Aufwand für Zuordnung, Schnittstellen und einheitliche Governance.
Geeignet, wenn … … bestimmte Inhalte besonderen Schutz benötigen und andere Daten mit freigegebenen KI-Diensten verarbeitet werden dürfen. … Unternehmen Standardanwendungen schnell bereitstellen möchten und das Angebot ihre Schutzanforderungen erfüllt. … Unternehmen mehr technische Kontrolle benötigen und die Infrastruktur eines Cloud-Anbieters nutzen möchten. … konkrete Schutzanforderungen oder Vorgaben externe KI-Dienste ausschließen und ausreichende Betriebskompetenz vorhanden ist. … Daten und Anwendungsfälle unterschiedliche Schutzanforderungen haben.

Unser Fazit: Ein lokales LLM ist nicht automatisch die richtige Antwort, sobald sensible Daten ins Spiel kommen.

Je nach Schutzbedarf können gezielte Datenklassifizierung, Enterprise-KI-Angebote, isolierte Cloud-Deployments oder ein lokaler Betrieb für mittelständische Unternehmen sinnvoll sein. Und häufig bietet sich auch eine Kombination verschiedener Ansätze an.

Die Entscheidung für einen Ansatz ist jedoch nicht leicht: Sie erfordert eine individuelle Bewertung der Daten, Schutzanforderungen, technischen Architektur und des Aufwands, sodass am Ende die beste Lösung unter Kosten/Nutzen/Sicherheit-Gesichtspunkten gefunden werden kann.

KONTAKT

Sie haben Fragen? Lassen Sie uns gerne sprechen.

Sie überlegen, ob eine Cloud-KI, eine Private-Cloud-Lösung oder ein lokal betriebenes LLM zu Ihrem Anwendungsfall passt? Wir bewerten gemeinsam mit Ihnen die Anforderungen und entwickeln das passende Setup.

AI Governance Beratung