LocalAI, das Open-Source-Projekt von Ettore Di Giacinto (mudler), hat in den vergangenen Wochen eine bedeutende Weiterentwicklung erfahren. Laut Projektdokumentation auf GitHub sind in der aktuellen Version eine Reihe von Features gelandet, die den Sprung vom Entwickler-Tool zur produktionsreifen Unternehmensplattform markieren: verteilte Inferenz mit Präfix-Cache-Routing, ein Echtzeit-Sprachassistent mit WebRTC, Enterprise-Sicherheit über NATS JWT + TLS/mTLS und 60 Sprachausgabe-Stimmen in 42 Sprachen.
Für KMU, die lokale KI-Infrastruktur ohne Cloud-Abhängigkeit betreiben wollen, ist das eine relevante Entwicklung.
Was ist LocalAI?
LocalAI ist eine Open-Source-Alternative zur OpenAI-API, ohne Daten, die das Unternehmen verlassen. Das Projekt läuft lokal auf eigener Hardware (CPU, GPU oder Apple Silicon), bietet eine vollständig OpenAI-kompatible REST-API und unterstützt nicht nur Textmodelle (Llama 3.3, Qwen 2.5, Gemma 4, DeepSeek-V3), sondern auch Bildgenerierung, Sprachverarbeitung und seit diesem Release vollständige Echtzeitsprache.
Der praktische Vorteil: Wer heute Cloud-APIs nutzt, kann dieselbe API mit einem einzigen Konfigurationsparameter gegen eine lokale LocalAI-Instanz austauschen, ohne den Anwendungscode zu ändern. Das senkt die Migrationshürde erheblich und reduziert Vendor Lock-in.
Die neuen Features im Überblick
Verteilte Inferenz und Enterprise-Sicherheit
Die vielleicht wichtigste Neuerung für Unternehmenseinsatz: LocalAI kann jetzt über mehrere Maschinen verteilt betrieben werden. Laut Projektseite umfasst das:
- Prefix-Cache-aware Routing: Wiederkehrende Anfragen mit gleichen Präfixen werden effizienter bearbeitet, KV-Cache-Treffer über Requests hinweg, besonders wertvoll bei Document-Q&A-Workloads
- Production-ready Request Router mit automatisch angepassten Batch-Größen für Embedding- und Reranking-Anfragen
- DS4 Layer-Split Distributed Inference: Große Modelle (70B+) werden über mehrere GPUs oder Rechner aufgeteilt, ohne dass jeder Knoten das gesamte Modell halten muss
- NATS JWT Auth + TLS/mTLS: Enterprise-taugliche Authentifizierung und verschlüsselte Kommunikation zwischen Knoten
- Resumable File Uploads für robuste Modellverteilung auch bei instabilen Netzverbindungen
Der letzte Sicherheitspunkt ist besonders relevant für KMU: Wer ein lokales LLM für mehrere Mitarbeitende bereitstellt, braucht eine vernünftige Zugriffskontrolle. Mit NATS JWT können einzelne Dienste und Nutzergruppen feingranular autorisiert werden, kein shared API-Key für alle.
Echtzeit-Sprachassistent mit WebRTC
LocalAI liefert jetzt einen vollständigen Echtzeit-Sprachassistenten, komplett lokal, ohne Cloud-Dienste. Laut Projektdokumentation:
- Ein Go-Client mit vollständigem bidirektionalem Sprach-Loop inklusive Tool Calling
- Streaming der gesamten Pipeline: Sprachmodell → TTS → Transkription in Echtzeit
- Konfigurierbare WebRTC ICE Candidates für flexible Netzwerktopologien
Was das praktisch bedeutet: Meetings, Kundengespräche oder Diktate können direkt auf dem lokalen Server transkribiert und beantwortet werden, ohne dass Audiodaten die Firmeninfrastruktur verlassen. Für DSGVO-sensible Bereiche (Medizin, Recht, HR) ist das ein erheblicher Vorteil gegenüber Clouddiensten.
Sprachverarbeitung: 60 Stimmen, 42 Sprachen
Das neue CrispASR-Backend macht LocalAI zu einer vollständigen lokalen Sprachplattform. Laut Projektseite:
- 60 Piper-TTS-Stimmen in 42 Sprachen, darunter Deutsch, Spanisch, Englisch, Französisch und viele weitere
- parakeet.cpp mit NeMo-kompatiblen Segment-Zeitstempeln für genaue, zeitgestempelte Transkripte
- Multilinguales Streaming via Nemotron-3.5-Modell für mehrsprachige Echtzeit-Transkription
- Dynamic Batching für parallele Transkriptionsanfragen unter Last
Für ein Handwerksunternehmen, eine Arztpraxis oder eine Rechtsanwaltskanzlei: automatische Protokollierung auf Deutsch, keine Datenweitergabe, keine API-Kosten pro Stunde.
Was das für KMU konkret bedeutet
Keine Cloud-Abhängigkeit, nicht für Text, nicht für Sprache, nicht für Bilderkennung. Das kAIra-Toolkit von Freshlab baut auf genau diesem Prinzip auf: lokale Modelle, volle Kontrolle, DSGVO-Konformität ohne Kompromisse.
OpenAI-API-Kompatibilität ist ein unterschätzter Vorteil: Anwendungen, die heute mit OpenAI-API gebaut wurden, können mit einem einzigen Konfigurationsparameter gegen eine lokale LocalAI-Instanz betrieben werden. Das bedeutet: kein Vendor Lock-in, keine Abhängigkeit von Preisänderungen US-amerikanischer Anbieter.
Team-Betrieb ohne Einzellizenz: LocalAI läuft als interner Dienst für das gesamte Unternehmen. Mit dem neuen Request Router und NATS-Auth können verschiedene Teams und Dienste isoliert auf denselben lokalen LLM-Stack zugreifen. Kein Pro-Kopf-Preis, keine nutzungsbasierte API-Rechnung.
Kostenstruktur: Im Gegensatz zu Cloud-APIs entstehen bei lokalem Betrieb keine laufenden Token-Kosten. Laut Messungen aus der Community wird der Betrieb nach 12-18 Monaten bei 5+ Nutzern in der Regel günstiger als Cloud-Vergleiche, konkrete Zahlen variieren jedoch stark je nach Hardware und Auslastung.
LocalAI, Ollama und Microsoft Foundry: Was passt wann?
LocalAI ist nicht der einzige Ansatz für lokale KI, und jedes Werkzeug hat seinen Platz:
- Ollama ist einfacher zu bedienen, ideal für Einzelnutzer und schnelle Prototypen. Weniger Produktionsfeatures.
- Microsoft Foundry Local (seit Juni 2026 verfügbar) integriert sich tief in Windows und Visual Studio Code, gut geeignet für Windows-zentristische Entwicklungsumgebungen.
- LocalAI ist die breiteste Plattform: Text, Sprache, Bild, Video, Agenten, alles über eine API, mit Distributed-Modus und Enterprise-Auth.
Für KMU, die mehr als einen Anwendungsfall abdecken wollen, vom Kundensupport-Bot bis zur Meeting-Protokollierung bis zur Dokumentensuche, ist LocalAI die vollständigste lokale Plattform, die es aktuell gibt.
Einsatzszenarien für KMU
Kanzleien und Beratungsunternehmen: Mandantengespräche transkribieren, Verträge zusammenfassen, interne Wissensdatenbank abfragen, alles auf einem lokalen Server, ohne Datenweitergabe an Dritte.
Handwerk und Fertigung: Sprachgesteuerte Werkzeugdokumentation, automatische Protokolle nach Kundenbesuchen, Qualitätsprüfberichte per Diktat, 60 Stimmen in 42 Sprachen inklusive.
Steuer und Buchhaltung: RAG-gestützte Suche in Bescheiden, DATEV-Exporten oder Mandantenunterlagen. Mit LocalAIs Echtzeit-Spracheingabe sogar per Diktat nutzbar.
Wie anfangen
Ein strukturiertes Pilotprojekt ist der sinnvollste Einstieg. LocalAI lässt sich auf einem Mac Studio M3 Ultra, einem bestehenden Linux-Server mit GPU oder auch rein CPU-basiert betreiben. Der erste Schritt ist die Bestandsaufnahme: Welche Anwendungsfälle hat das Unternehmen, welche Modelle passen, welche Hardware ist vorhanden?
Für Teams ohne KI-Vorkenntnisse schafft unser KI-Training die Grundlage, damit die Einführung nicht am ersten Praxis-Schnittstellenproblem scheitert. Die Datensouveränität ist bei LocalAI strukturell gewährleistet, muss aber von Anfang an architektonisch mitgedacht werden.
Wenn Sie wissen wollen, wie ein lokaler LocalAI-Stack für Ihr Unternehmen aussehen könnte, sprechen Sie uns an.