Wer die Entwicklung lokaler KI-Infrastruktur für KMU verfolgt, sieht einen klaren Trend: Modelle werden leistungsfähiger, Hardware günstiger – und nun verfeinert sich auch die Schicht dazwischen. Die Inference-Runtime entscheidet zunehmend darüber, wie viel Leistung tatsächlich aus dem vorhandenen Apple-Silicon-Chip herausgekommen wird.
Auf X diskutieren Practitioners seit einigen Wochen nicht mehr nur über Modellvergleiche, sondern über Software-Stacks auf identischer Hardware. Praktiker wie Alex Jones zeigen, dass zwei neue Open-Source-Inference-Server – mlx-serve und MTPLX – die Frage stellen, ob Ollama wirklich der Goldstandard für lokale KI auf dem Mac ist.
Was ist mlx-serve?
mlx-serve ist ein in Zig geschriebener Inference-Server, der Apple-Silicon-Chips direkt über Apples eigenes ML-Framework MLX anspricht. Zig ist eine Systemsprache vergleichbar mit C: kein Python-Overhead, keine Interpreter-Schicht. Die gesamte auslieferbare Binärdatei ist knapp 7 MB groß. Neben dem CLI-Server enthält das Paket MLX Core – eine native macOS-Menüleisten-App mit Chat-Interface, Agent-Modus und Tool-Calling-Unterstützung.
Der entscheidende technische Unterschied zu Ollama: Ollama nutzt intern llama.cpp, das GGUF-Modelle über eine generische Compute-Bibliothek ausführt. mlx-serve nutzt dagegen nativ die Unified Memory Architecture des M-Chips und Apples Metal-GPU-Kernels. Die Konsequenz ist messbar.
GGUF vs. MLX-native: Wo der Unterschied liegt
GGUF ist ein Quantisierungsformat, das ursprünglich für llama.cpp entwickelt wurde und plattformübergreifend funktioniert – auf Linux, Windows und macOS. Das ist seine Stärke. Auf Apple Silicon ist es aber nicht optimal, weil llama.cpp durch generische Compute-Pfade läuft, die nicht speziell für die Unified Memory Architecture des M-Chips optimiert sind.
MLX-native Gewichte werden direkt für Apples Framework aufbereitet. Die Arithmetik passiert auf denselben Compute-Einheiten, spricht dasselbe Speichersubsystem an und profitiert von Optimierungen, die Apple speziell für die M-Chip-Generation eingebaut hat. Für Endanwender bedeutet das: mehr Tokens pro Sekunde aus derselben Hardware, ohne einen Cent zusätzlich zu investieren.
Leistungsvergleich: Was die Benchmarks zeigen
Laut Projekt-Benchmarks auf einem Apple M4 Max mit identischen 4-Bit-Gewichten erzielt mlx-serve:
- Qwen 3.6 27B: ~29 tok/s im Basisbetrieb, bis zu 58,4 tok/s mit aktiviertem Multi-Token-Prediction (MTP)
- Gemma 4 E4B: ~118 tok/s
- +48 % Geomittel über 18 Workload-Kombinationen verglichen mit LM Studio 0.4.15
- Prefill-Beschleunigung: 1,8–2,5× schneller bei kleinen Gemma-Modellen gegenüber LM Studio
Das ergänzende Tool MTPLX konzentriert sich ausschließlich auf MTP-basierte spekulative Decodierung. Community-Messungen berichten von ~63 tok/s auf Qwen 3.6 27B auf einem M5 Max und einer 2,6-fachen Beschleunigung gegenüber dem Basiswert auf MacBook-Pro-Hardware.
Wie Multi-Token Prediction funktioniert
MTP ist eine Form der spekulativen Decodierung. Bei klassischer spekulativer Decodierung läuft ein kleines Entwurfsmodell voraus und schlägt mehrere Token vor; das große Modell verifiziert sie in einem einzigen Schritt. Trifft der Entwurf, erhält man mehrere Token zum Preis von einem.
mlx-serve und MTPLX nutzen dabei einen cleveren Trick: Sie verwenden die modellinternen MTP-Köpfe, die moderne Qwen-3.5/3.6- und Llama-3.x-Modelle bereits mitbringen. Kein zweites Modell wird geladen. Kein zusätzlicher RAM wird belegt. Laut Projektbenchmarks ergibt das +15–26 % bei Code-Tasks und +44–61 % bei agentischen Loops durch Prompt Lookup Decoding.
API-Kompatibilität: Drop-in für bestehende Setups
Wer heute Ollama einsetzt, muss keine Werkzeuge tauschen. mlx-serve implementiert das Ollama-Wire-Protokoll vollständig:
/api/chatund/api/generate– wie Ollama/v1/chat/completions– OpenAI-kompatibel/v1/messages– Anthropic Messages API
Anwendungen, die bisher auf http://localhost:11434 (Ollama) zeigen, funktionieren nach einer Port-Änderung auf http://localhost:11234 ohne weitere Anpassungen. Open WebUI, Raycast, Obsidian und vergleichbare Tools sind sofort einsatzbereit.
Installation
brew install mlx-serve
mlx-serve run qwen3.6:27bModell-Download und Serverstart passieren automatisch. Als dauerhafter Dienst lässt sich mlx-serve über launchd einrichten – sinnvoll für Mac Minis und Mac Studios, die als Teamserver betrieben werden.
Was mlx-serve zusätzlich bietet
mlx-serve ist kein reiner Textserver. Laut Projektbeschreibung unterstützt es auch:
- Bildgenerierung und -bearbeitung: FLUX.2, Krea-2
- Videogenerierung: LTX-Video 2.3
- Sprachsynthese mit Stimmklonung: Qwen3-TTS
- KV-Cache-Quantisierung (4-Bit/8-Bit): reduziert den Speicherbedarf um Faktor 2–4
- Prefix-Caching: Systemanweisungen und Multi-Turn-Gespräche werden gecacht, wiederkehrende Anfragen werden schneller
Praktische Bedeutung für KMU
Ein typischer Freshlab-Einstiegs-Stack ist ein Mac Mini M4 oder Mac Studio M3 Ultra. Mit Ollama und llama.cpp laufen Qwen-3.6-27B-Modelle auf einem M4 Max laut Community-Berichten bei rund 20–25 tok/s. Mit mlx-serve und aktiviertem MTP steigt dieser Wert auf bis zu 58 tok/s – mehr als doppelt so schnell, ohne Hardwarekosten.
Für ein fünfköpfiges Team, das täglich Dokumente zusammenfasst, Angebote formuliert oder E-Mails per lokalem LLM entwirft, verkürzt sich die Wartezeit von 8–10 Sekunden auf 3–4 Sekunden pro Anfrage. Bei zehn Anfragen pro Person und Tag ergibt das über eine Stunde gesparte Wartezeit pro Woche – auf lokaler, vollständig DSGVO-konformer Infrastruktur, die keinen einzigen Token nach außen sendet.
Wie wir auf unserer Seite zur Datensouveränität erläutern, liegt der Kernvorteil lokaler KI nicht allein in Tokenkosten, sondern im vollständigen Ausschluss externer Datenweitergabe. mlx-serve verändert an diesem Prinzip nichts – es macht denselben Schutz schlicht schneller verfügbar.
Ersetzt mlx-serve Ollama vollständig?
Noch nicht universell. Ollama hat ein breiteres Modell-Ökosystem, ausgereifteres Modell-Management und eine größere Community. Wer primär mit GGUF-Modellen arbeitet oder Nischenmodelle benötigt, bleibt mit Ollama gut aufgestellt. mlx-serve bindet llama.cpp als Fallback für GGUF ein – der Performance-Vorsprung liegt aber eindeutig bei nativen MLX-Gewichten.
Für KMU, die auf Qwen 3.x, Gemma 4 oder Llama 3.x auf Apple Silicon setzen, ist mlx-serve heute die messbar leistungsfähigere Wahl.
Wenn Sie herausfinden möchten, ob Ihr bestehendes Setup von einem Wechsel profitieren würde oder welcher Stack am besten zu Ihren konkreten Anforderungen passt, sprechen Sie uns an: Pilotprojekt starten.