Lokale KI: GPT-OSS 120B Fable-5 als GGUF selbst betreiben

Am 22. Juni 2026 meldete das KI-Sicherheitslabor AutoTrust AI via X: „Our first community model is live", sechs Worte, die in der lokalen-LLM-Community für Aufsehen sorgten. Dahinter steckt eine Community-GGUF von OpenAIs GPT-OSS 120B: LoRA-fine-getuned mit Wissensdestillation aus Claude Fable-5 und anschließend in das GGUF-Format konvertiert, das mit llama.cpp, LM Studio und Ollama funktioniert. In den ersten 24 Stunden zählten die Maintainer 243 Downloads, ein klares Signal, dass Praktikerinnen und Praktiker genau auf diesen Moment gewartet hatten.

Für Unternehmen, die auf lokale KI setzen, hat diese Entwicklung konkrete Bedeutung: Erstmals steht ein 120-Milliarden-Parameter-Modell als GGUF bereit, das vollständig on-premise betreibbar ist, auf Hardware, die im KMU-Umfeld bereits existiert oder beschaffbar ist.

Was ist GPT-OSS 120B, und was bedeutet „Fable-5 Distilled"?

GPT-OSS 120B ist OpenAIs offen lizenziertes Sprachmodell mit einer Mixture-of-Experts-Architektur (MoE): 36 Layer, 128 Experten insgesamt, davon 4 aktive pro Token-Generierungsschritt. Diese Konstruktion bedeutet, dass das Modell bei jedem Inferenzschritt nur einen kleinen Bruchteil seiner Parameter aktiviert, was Speicher- und Rechenanforderungen gegenüber einem dichten 120B-Modell deutlich senkt.

„Fable-5 Distilled" beschreibt den LoRA-Tuning-Prozess, den AutoTrust AI angewendet hat: Das Modell wurde mit supervisedten Code-Session-Daten trainiert, die auf Wissensdestillation aus Anthropics Claude Fable-5 basieren. RLHF wurde nicht eingesetzt, was laut Hugging-Face-Dokumentation der Community-GGUF eine etwas leichtere Safety-Alignierung ergibt als bei kommerziellen Instruktions-Modellen. Das Training konzentrierte sich auf Coding-Szenarien, weshalb das Modell in diesem Bereich besondere Stärken zeigt.

Das GGUF-Format ermöglicht die Ausführung mit llama.cpp, Ollama, LM Studio, GPT4All und MLX-LM, plattformübergreifend auf macOS, Windows und Linux, mit Backends für CPU, CUDA, Metal, Vulkan und ROCm.

Hardware-Anforderungen: Was brauche ich konkret?

Das Modell in der MXFP4-Quantisierung belegt rund 61 GB Modelldaten. Hinzu kommen Compute-Buffer (ca. 2,7 GB) und KV-Cache (ab 0,3 GB bei 8.192 Tokens). Laut llama.cpp-Community-Diskussion beläuft sich der Gesamtbedarf bei 8.192 Token Kontext auf rund 64 GB, und bei 131.072 Tokens auf rund 68,5 GB.

Für den Einsatz in europäischen KMU-Umgebungen kommen folgende Hardware-Konfigurationen in Frage:

• Mac Studio M3 Ultra (128-192 GB Unified Memory): Empfohlen. Laut Community-Berichten auf Hacker News erzielen maximal ausgestattete Mac Studios 60-100 Token/s bei kurzen Kontexten. Bei steigendem Kontext nimmt die Geschwindigkeit durch Speicherdruck ab.
• Mac Studio M3 Max (96 GB): Funktioniert mit Einschränkungen. Für Kontextfenster über 32.000 Tokens kann der Speicher knapp werden.
• NVIDIA DGX Spark GB10 (128 GB Unified Memory): Gut geeignet. Die GPU-optimierte Architektur ermöglicht flüssigere Inferenz als Apple Silicon bei vergleichbarer Speicherkapazität.
• Desktop-PC mit 16-24 GB GPU und viel System-RAM: Möglich mit CPU-Offloading via --n-cpu-moe N in llama.cpp. Die Generierungsgeschwindigkeit sinkt auf ca. 5-15 Token/s, für asynchrone Aufgaben wie Dokumentenanalyse dennoch nutzbar.

Vergleichswerte aus Community-Messungen: Eine NVIDIA RTX Pro 6000 (96 GB VRAM) erreicht laut llama.cpp-Benchmark rund 196 Token/s bei der Generierung; ein M2 Ultra (192 GB, 76 GPU-Kerne) kommt auf rund 80 Token/s.

Setup: llama.cpp und Ollama

Für Systeme mit mehr als 64 GB VRAM oder Unified Memory eignet sich der direkte Aufruf via llama.cpp ohne CPU-Offloading:

llama-server -hf ggml-org/gpt-oss-120b-GGUF --ctx-size 0 --jinja -ub 2048 -b 2048

Für Setups mit 16 GB GPU-VRAM und ausreichend System-RAM:

llama-server -hf ggml-org/gpt-oss-120b-GGUF \
  --ctx-size 32768 --jinja -ub 4096 -b 4096 --n-cpu-moe 32

Das Flag --n-cpu-moe weist llama.cpp an, die MoE-Layer auf die CPU auszulagern, die zentrale Optimierung für speicherbeschränkte Setups. Flash Attention (-fa) verbessert den Durchsatz zusätzlich.

Für Ollama und LM Studio steht die Community-GGUF direkt auf Hugging Face als Download bereit.

Wichtiger Hinweis zum Prompt-Format: GPT-OSS 120B erwartet das Harmony-Format mit dem <|channel|>-Protokoll. Standard-ChatML- oder Alpaca-Prompts führen laut Community-Berichten zu deutlich schlechterer Ausgabequalität. Wer das Modell in eine bestehende Anwendung integriert, sollte die Prompt-Anpassung von Anfang an einplanen.

Typische Einsatzbereiche und was zu beachten ist

Die AutoTrust-AI-Variante wurde primär auf Code-Session-Daten trainiert und eignet sich besonders für:

• Automatisierte Code-Reviews und technische Dokumentation: 120B-Klasse bedeutet deutlich differenzierteres Verständnis von Architekturentscheidungen als kleinere Modelle.
• Interne Entwicklungsassistenten mit vollständiger Datensouveränität: Kein Anfrage-Log bei externen Diensten, keine API-Abhängigkeit.
• Analyse und Zusammenfassung technischer oder juristischer Dokumente: Das 128k-Token-Kontextfenster erlaubt die Verarbeitung ganzer Codebasen oder umfangreicher Vertragspakete in einem einzigen Aufruf.

Für allgemeines Reasoning und Textgenerierung eignet sich das Modell ebenfalls, allerdings sollte der Code-Fokus des Trainings bei nicht-technischen Aufgaben in der Qualitätserwartung berücksichtigt werden.

Datensouveränität: Das zentrale Argument für lokalen Betrieb

Das fundamentale Argument für on-premise Betrieb gilt auch hier: Alle Anfragen verarbeitet Ihre eigene Hardware. Keine Anfrage verlässt Ihr Netzwerk, keine Unternehmensdaten gelangen zu externen Diensten. Gemäß unserem Verständnis der DSGVO ist das ein wesentlicher Vorteil in der Risikobewertung nach Art. 32 DSGVO, besonders relevant für Kanzleien, Steuerberater, Gesundheitsdienstleister und Industriebetriebe, die vertrauliche Dokumente verarbeiten.

Cloud-APIs verlangen, dass jede Anfrage über externe Server läuft. Bei lokalem LLM-Betrieb verlässt kein Prompt das eigene Netzwerk. Das ist ein struktureller Unterschied, der in der DSGVO-Dokumentation messbar niederschlägt.

Mehr dazu, wie lokale KI-Infrastruktur Datenschutzziele und betriebliche Effizienz verbindet, lesen Sie auf unserer Seite zu Datensouveränität.

Für wen eignet sich der Schritt zu GPT-OSS 120B?

GPT-OSS 120B in der Fable-5-Distilled-Variante ist kein Einsteigermodell. Wer bereits Llama 4, Qwen3 oder Gemma 4 auf einem Mac Studio M3 mit Ollama betreibt, findet hier eine qualitativ höherstufige Option, mit proportional höheren Hardware-Anforderungen.

Der Schritt lohnt sich für Unternehmen, die:

• Bereits auf Mac Studio M3 Ultra oder gleichwertige Hardware setzen
• Coding-Assistenz oder Dokumentenanalyse mit maximaler Modellqualität benötigen
• Bereit sind, das Harmony-Prompt-Format in ihre Applikation zu integrieren

Für KMU, die noch am Anfang der lokalen KI-Einführung stehen, bleiben Modelle wie Llama 3.3 70B oder Qwen3 32B der pragmatischere Einstiegspunkt.

Wenn Sie den Schritt zu einem 120B-Modell planen oder Ihre bestehende lokale KI-Infrastruktur unabhängig evaluieren möchten, sprechen Sie uns an: Kontakt aufnehmen.