Local LLM: Sprachmodelle lokal betreiben für volle Datenkontrolle

Ein Local LLM gibt Unternehmen die Möglichkeit, große Sprachmodelle auf eigener Hardware zu betreiben - ohne Daten an Cloud-Dienste zu senden. Statt sensible Geschäftsinformationen über APIs an OpenAI, Google oder Anthropic zu schicken, verarbeitet ein lokales Modell alles im eigenen Netzwerk. Kein Datenabfluss, keine laufenden API-Kosten, keine Abhängigkeit von externen Anbietern.

Für den deutschsprachigen Mittelstand ist das besonders relevant. Die DSGVO stellt strenge Anforderungen an die Verarbeitung personenbezogener Daten, und der EU AI Act verschärft die Dokumentationspflichten weiter. Wer ein Sprachmodell lokal betreibt, behält die Kontrolle über jeden Prompt und jede Antwort. Dieser Guide zeigt, welche Hardware nötig ist, welche Tools den Einstieg erleichtern und welche Open-Source-Modelle sich für den lokalen Betrieb eignen.

Welche Hardware braucht ein lokales Sprachmodell?

Die Hardware-Anforderungen hängen direkt von der Modellgröße ab. Ein Modell mit 7 Milliarden Parametern stellt andere Ansprüche als eines mit 70 Milliarden. Entscheidend sind drei Faktoren: eine GPU mit ausreichend VRAM, schneller Arbeitsspeicher und Speicherplatz für die Modelldateien.

GPU-Betrieb mit NVIDIA

NVIDIA-Grafikkarten mit CUDA-Support sind der Standard für lokale LLMs. Der verfügbare VRAM bestimmt, welche Modellgröße geladen werden kann. Quantisierung reduziert die Rechengenauigkeit von 16 Bit auf 4 oder 8 Bit und senkt den VRAM-Bedarf erheblich. Ein 7B-Modell in 4-Bit-Quantisierung läuft problemlos auf einer Karte mit 6 GB VRAM. Das GGUF-Format hat sich als Standard für quantisierte Modelle etabliert und wird von allen gängigen Tools unterstützt.

Für Unternehmen, die mehrere Nutzer gleichzeitig bedienen wollen, empfiehlt sich eine dedizierte Server-GPU. Die NVIDIA A100 mit 80 GB VRAM kann auch 70B-Modelle ohne Einschränkungen betreiben.

CPU-only als Alternative

Wer keine dedizierte GPU hat, kann kleinere Modelle auch auf der CPU betreiben. Tools wie llama.cpp sind speziell für CPU-Inferenz optimiert und nutzen Instruktionssätze wie AVX2 und AVX-512 für schnellere Berechnungen. Die Geschwindigkeit ist deutlich niedriger als auf einer GPU: Statt 30-50 Tokens pro Sekunde erreicht eine moderne CPU etwa 5-15 Tokens pro Sekunde. Für interne Anwendungen ohne Echtzeitanforderung reicht das aus.

Die wichtigsten Tools für lokale LLMs im Vergleich

Für den lokalen Betrieb von Sprachmodellen gibt es mehrere ausgereifte Tools. Die Wahl hängt vom technischen Hintergrund und dem geplanten Einsatzzweck ab. Alle vier Werkzeuge sind Open-Source und kostenlos nutzbar.

Ollama hat sich als Standard für den schnellen Einstieg etabliert. Mit einem einzigen Befehl laden und starten Sie ein Modell: ollama run llama3. Die integrierte REST-API ist kompatibel mit dem OpenAI-Format, was die Integration in bestehende Anwendungen und Workflows erleichtert. Ollama bietet außerdem ein SDK für Python und JavaScript, mit dem Entwickler lokale LLMs direkt in eigene Anwendungen einbinden können.

LM Studio richtet sich an Nutzer ohne Terminal-Erfahrung. Die grafische Oberfläche ermöglicht das Herunterladen, Konfigurieren und Testen von Modellen per Mausklick. Der eingebaute Chat und die Möglichkeit, verschiedene Modelle schnell zu wechseln, machen LM Studio zum idealen Werkzeug für die Evaluierung.

llama.cpp bildet das technische Fundament, auf dem Ollama und viele andere Tools aufbauen. Das in C++ geschriebene Projekt ist auf maximale Inferenz-Performance optimiert. Wer die volle Kontrolle über Quantisierung, Kontextlänge und Batch-Größe braucht, arbeitet direkt mit llama.cpp.

vLLM ist für Produktivumgebungen mit vielen gleichzeitigen Anfragen konzipiert. Continuous Batching und PagedAttention sorgen für hohen Durchsatz auch unter Last. Für einzelne Arbeitsplätze ist vLLM überdimensioniert, für einen unternehmensweiten KI-Service aber die passende Lösung.

Wer eine komfortable Web-Oberfläche für den Teamzugang sucht, findet in unserem Praxis-Guide zu Open WebUI eine ausführliche Einrichtungsanleitung.

Welche Open-Source-Modelle eignen sich für den lokalen Betrieb?

Die Auswahl an Open-Source-Modellen wächst schnell. Nicht jedes Modell ist für jeden Zweck geeignet. Drei Modellfamilien haben sich für den Unternehmenseinsatz besonders bewährt.

Llama 3 (Meta): Die Llama-Familie ist das meistgenutzte Open-Source-Modell für den lokalen Betrieb. Llama 3.1 gibt es in den Größen 8B, 70B und 405B Parameter. Die 8B-Variante liefert für viele Standardaufgaben - Textzusammenfassungen, E-Mail-Entwürfe, einfache Analysen - bereits solide Ergebnisse und läuft auf Consumer-Hardware mit einer GPU ab 6 GB VRAM.

Mistral und Mixtral: Das französische Unternehmen Mistral AI bietet mit Mistral 7B ein kompaktes, leistungsfähiges Modell. Das Mixture-of-Experts-Modell Mixtral 8x7B erreicht trotz seiner Gesamtgröße eine hohe Inferenzgeschwindigkeit, weil pro Anfrage nur ein Teil der Parameter aktiv ist. Für deutschsprachige Texte liefern Mistral-Modelle erfahrungsgemäß gute Ergebnisse.

Phi-3 (Microsoft) und Gemma 2 (Google): Kleinere Modelle mit 2-9 Milliarden Parametern, die für spezifische Aufgaben erstaunlich leistungsfähig sind. Phi-3 mini mit 3,8B Parametern eignet sich für Geräte mit begrenzten Ressourcen und ist schnell genug für Echtzeit-Antworten auf älterer Hardware.

Alle genannten Modelle sind im GGUF-Format verfügbar und lassen sich mit Ollama oder llama.cpp direkt laden. Einen umfassenden Überblick über Self-Hosting-Optionen bietet unser Guide zu Open Source KI im Mittelstand.

Wie installiert man ein Local LLM Schritt für Schritt?

Der schnellste Weg zum eigenen lokalen Sprachmodell führt über Ollama. Die Installation dauert keine zehn Minuten, unabhängig vom Betriebssystem.

1. Ollama herunterladen und installieren (verfügbar für Windows, macOS und Linux)
2. Terminal öffnen und ein Modell starten: ollama run llama3
3. Modell direkt im Terminal-Chat testen
4. REST-API auf Port 11434 nutzen oder Web-Oberfläche anbinden

Ollama unter Windows und Linux einrichten

Unter Windows laden Sie den Installer von der Ollama-Website herunter. Die Installation erkennt vorhandene NVIDIA-GPUs automatisch und aktiviert CUDA-Unterstützung. Unter Linux genügt ein einziger Befehl: curl -fsSL https://ollama.com/install.sh | sh. Beide Varianten installieren Ollama als Systemdienst, der im Hintergrund läuft und Modelle bei Bedarf bereitstellt.

Nach der Installation laden Sie ein Modell Ihrer Wahl. Der Befehl ollama pull llama3 lädt das Modell herunter, ollama run llama3 startet den Chat. Ollama verwaltet die Modelle lokal und stellt Updates für neue Versionen bereit. Der gesamte Vorgang läuft offline, sobald das Modell einmal heruntergeladen ist.

Vom Terminal-Chat zur produktiven Nutzung

Für den Einsatz im Team reicht der Terminal-Chat nicht aus. Verbinden Sie Ollama mit einer Web-Oberfläche wie Open WebUI, um mehreren Mitarbeitern gleichzeitig Zugang zu geben. Die OpenAI-kompatible API ermöglicht die Integration in eigene Anwendungen, Python-Skripte und Automatisierungen. So wird aus dem lokalen Modell ein produktiver KI-Dienst für das gesamte Unternehmen.

Datenschutz und DSGVO: Warum lokale LLMs für Unternehmen relevant sind

Jede Anfrage an ChatGPT oder Gemini verlässt das Unternehmensnetzwerk. Bei einem Local LLM bleibt jeder Prompt, jede Antwort und jedes verarbeitete Dokument auf der eigenen Hardware. Das ist kein theoretischer Vorteil, sondern löst ein konkretes Problem im Unternehmensalltag.

Der EU AI Act stuft bestimmte KI-Anwendungen als Hochrisiko-Systeme ein. Unternehmen, die KI für HR-Entscheidungen, Kreditprüfungen oder Compliance-Aufgaben einsetzen, müssen die Datenverarbeitung dokumentieren und kontrollieren können. Ein lokales Modell erfüllt diese Anforderung, weil die gesamte Verarbeitungskette im eigenen Einflussbereich bleibt.

Auch die DSGVO-Anforderungen lassen sich mit lokalen LLMs einfacher einhalten. Es gibt keinen Auftragsverarbeiter, keine Datenübermittlung in Drittländer und keine Abhängigkeit von den Datenschutzrichtlinien eines US-Anbieters. Besonders für Branchen mit strengen Vertraulichkeitsanforderungen wie Steuerberatung, Recht oder Gesundheitswesen ist das ein entscheidender Faktor. Einen detaillierten Vergleich DSGVO-konformer KI-Optionen finden Sie in unserem Guide zu DSGVO-konformen KI-Tools.

Wann lohnt sich ein lokales LLM gegenüber der Cloud?

Die Entscheidung zwischen lokalem Betrieb und Cloud-API hängt von drei Faktoren ab: Datenempfindlichkeit, Nutzungsintensität und benötigte Modellqualität.

Für Unternehmen mit sensiblen Daten und regelmäßiger KI-Nutzung rechnet sich ein lokales Modell oft schon nach wenigen Monaten. Wer täglich hunderte API-Anfragen an Cloud-Dienste stellt, zahlt schnell mehrere tausend Euro pro Monat. Ein lokaler Server mit einer leistungsfähigen GPU amortisiert sich bei dieser Nutzungsintensität innerhalb eines Quartals.

Die beste Lösung für viele Unternehmen ist ein hybrider Ansatz: Standardaufgaben wie Textzusammenfassungen, E-Mail-Entwürfe und Dokumentenanalysen laufen auf dem lokalen LLM. Für komplexe generative Aufgaben, bei denen die höchste Modellqualität entscheidend ist, greift man gezielt auf Cloud-APIs zurück.

Typische Einsatzszenarien im Mittelstand

Lokale Sprachmodelle eignen sich besonders für wiederkehrende Aufgaben mit strukturierten oder vertraulichen Daten. Drei Szenarien funktionieren in der Praxis zuverlässig.

Interne Wissensdatenbank: Ein lokales LLM durchsucht Handbücher, Prozessdokumentationen und Richtlinien und beantwortet Mitarbeiterfragen in natürlicher Sprache. Retrieval Augmented Generation (RAG) verbindet das Modell mit Ihren Dokumenten, ohne dass diese das Unternehmen verlassen. Ein 8B-Modell mit RAG-Pipeline ersetzt keine Fachexperten, liefert aber in Sekunden Antworten, für die Mitarbeiter sonst Minuten in Ordnerstrukturen suchen.

E-Mail- und Textassistenz: Antworten auf Kundenanfragen entwerfen, Berichte zusammenfassen, Besprechungsprotokolle erstellen. Ein lokales Modell erledigt das in Sekunden, ohne dass vertrauliche Kundeninformationen oder Geschäftsdaten an externe Dienste fließen.

Code-Unterstützung: Entwicklerteams nutzen lokale Modelle als Alternative zu Cloud-basierten Copilot-Diensten. Modelle wie CodeLlama oder DeepSeek Coder sind speziell für Programmieraufgaben trainiert und laufen vollständig auf der eigenen Hardware. Code-Reviews, Dokumentation und Debugging bleiben im Unternehmen.

So starten Sie mit Ihrem ersten lokalen Sprachmodell

Der Einstieg muss nicht teuer sein. Ein Arbeitsplatzrechner mit einer NVIDIA RTX 4060 und 16 GB RAM reicht für erste Tests mit 7B-Modellen. Installieren Sie Ollama, laden Sie Llama 3 herunter und testen Sie das Modell mit konkreten Aufgaben aus Ihrem Arbeitsalltag. Erst wenn der Nutzen klar ist, lohnt sich die Investition in dedizierte Server-Hardware für den produktiven Betrieb eines Local LLM.

Sie möchten KI in Ihrem Unternehmen einsetzen? Sprechen Sie uns an - wir beraten Sie unverbindlich.