Wer zum ersten Mal ein lokales LLM einrichten will, stellt sich meistens dieselbe Frage: „Welches Modell soll ich nehmen?" Doch das ist, wie Entwickler Michael Guo auf X schreibt, die falsche Einstiegsfrage. Die richtige lautet: „Welche Hardware habe ich?" Denn die Hardware bestimmt die Runtime, und die Runtime bestimmt das Modellformat – und erst dann ergibt sich, welche Modelle überhaupt sinnvoll in Frage kommen.
Wer diese Reihenfolge umdreht, landet häufig in einem bekannten Fehlerpfad: Modell heruntergeladen, Runtime-Fehler, Format inkompatibel, Neustart von vorn. Dieser Leitfaden beschreibt die korrekte Abfolge – und gibt für jeden Hardware-Tier konkrete Empfehlungen.
Die Entscheidungskette: Hardware → Runtime → Format → Modell
Der härteste technische Engpass beim lokalen LLM-Betrieb ist Arbeitsspeicher. Das Modell muss vollständig in den Speicher geladen werden, den die Inference-Engine nutzen kann. Passt es nicht, läuft das Modell entweder gar nicht oder fällt auf einen langsamen CPU-Pfad zurück.
Daraus folgt eine sequentielle Entscheidungskette:
- Welche Hardware haben Sie? (Apple Silicon, NVIDIA-GPU, CPU-only)
- Welche Runtime performt auf dieser Hardware am besten? (Ollama + MLX, vLLM, llama.cpp)
- Welches Modellformat nutzt diese Runtime? (MLX-Weights, GGUF, safetensors)
- Welche Modelle passen bei diesem Format in Ihren Speicher?
Diese vier Fragen in der richtigen Reihenfolge zu beantworten erspart die meisten Einrichtungsfehler.
Tier 1: Apple Silicon (M-Serie Macs)
Apple-Silicon-Macs besitzen eine Besonderheit, die sie für lokale LLMs attraktiv macht: Unified Memory Architecture (UMA). RAM und GPU-Speicher sind physisch identisch. Ein Mac Studio M3 Ultra mit 192 GB Unified Memory kann diesen gesamten Pool für Modellinferenz nutzen – kein System-GPU-Split, keine PCIe-Übertragungsverluste zwischen Arbeitsspeicher und Grafikspeicher.
Empfohlene Runtime: Ollama (seit Anfang 2026 mit nativem MLX-Backend) oder direkt MLX-LM.
Modellformat: MLX-quantisierte Weights für natives MLX, GGUF über das Ollama-Standard-Interface.
Modellempfehlungen nach verfügbarem RAM:
| RAM | Empfohlene Modelle |
|---|---|
| 16 GB | Qwen2.5 7B, Phi-4, Gemma3 4B |
| 32 GB | Llama 3.3 70B (4-Bit-Quantisierung), Qwen2.5 32B |
| 64 GB | Qwen2.5 72B, Llama 3.3 70B (höhere Qualitätsstufe) |
| 128–192 GB | Qwen3-Coder-Next (MoE-Architektur, ~80B gesamt, ~3B aktiv je Schritt) |
Laut Berichten aus der Community erreichen quantisierte 70B-Modelle auf einem Mac Studio M3 Ultra Inferenzraten von 20–40 Token/s – ausreichend für produktive Teamanwendungen. Kleinere Modelle auf einem Mac Mini M4 (16–32 GB) sollen laut veröffentlichten Community-Benchmarks 60–100+ Token/s erzielen.
Für die meisten KMU-Anwendungsfälle – interne Dokumentensuche, E-Mail-Analyse, Code-Unterstützung, strukturierte Datenextraktion – reicht ein Mac Mini M4 mit 32 GB oder ein Mac Studio M3 Max mit 64 GB. Größere Speicherausstattungen sind sinnvoll, wenn mehrere Nutzer gleichzeitig arbeiten oder sehr lange Kontextfenster benötigt werden.
Einzelnutzer vs. Team auf Apple Silicon
Für einen Einzelnutzer genügt Ollama direkt. Für Teams empfiehlt sich Open WebUI als browserbasiertes Frontend: Es bietet Sitzungsverwaltung, Modellwechsel je Nutzer und eine ChatGPT-ähnliche Oberfläche – ohne zusätzliche Cloud-Anbindung. Die Kombination Ollama + Open WebUI ist laut Praktiker-Berichten der meistgenutzte Stack für Apple-Silicon-Teaminstallationen in 2026.
Tier 2: NVIDIA-GPU (RTX-Serie)
NVIDIA-Grafikkarten haben dedizierten VRAM, der vom Systemspeicher getrennt ist. Modelle, die nicht vollständig in den VRAM passen, fallen auf den CPU-RAM über PCIe zurück – was funktioniert, aber mit deutlichem Geschwindigkeitsverlust verbunden ist.
Empfohlene Runtimes:
- Ollama – einfache Installation, gut für Einzelnutzer und kleine Teams, GGUF-Format
- vLLM – produktionstauglich, verarbeitet gleichzeitige Anfragen effizient via Continuous Batching, safetensors-Format
- llama.cpp – maximale Kontrolle, GGUF, flexibles Offloading zwischen VRAM und CPU-RAM
Modellempfehlungen nach verfügbarem VRAM:
| VRAM | Empfohlene Modelle |
|---|---|
| 8 GB | Phi-4 Mini, Gemma3 4B, Qwen2.5 7B (Q4) |
| 12 GB | Llama 3.3 8B (volle Qualität), Qwen2.5 14B (Q4) |
| 24 GB (RTX 3090/4090) | Qwen2.5 32B (Q4), Llama 3.3 70B (Q3 mit teilweisem CPU-Offload) |
Eine gebrauchte RTX 3090 (24 GB VRAM) war Mitte 2026 laut Community-Angaben für rund 400–600 EUR erhältlich – damit ist sie die kosteneffizienteste Einstiegsoption für das 32B-Modell-Segment auf NVIDIA-Hardware. Wer eine NVIDIA-GPU als Team-Server betreibt, sollte vLLM in Betracht ziehen: Es unterstützt Tensor Parallelism über mehrere GPUs und erzielt laut veröffentlichten Benchmarks 2–4× höheren Durchsatz als einfache Einzelanfrage-Setups.
Tier 3: CPU-only und Low-Power-Hardware
Reine CPU-Inferenz ist langsamer, aber funktional – für explorative Anwendungen, Geräte ohne GPU oder unregelmäßige Nutzung mit niedrigem Durchsatz.
Empfohlene Runtime: llama.cpp oder Ollama mit CPU-Backend.
Modellformat: GGUF, stark quantisiert (Q2–Q4).
Praktische Optionen:
- Phi-4 Mini (3B): Microsofts kompaktes Modell mit gutem allgemeinen Reasoning
- Gemma3 1B: Googles kleinstes Modell, sehr schnell auf CPU
- Qwen2.5 3B: Starke Mehrsprachigkeit inklusive Deutsch bei minimalem Speicherbedarf
Inferenzraten auf CPU liegen laut Community-Erfahrungsberichten typischerweise bei 2–8 Token/s – akzeptabel für asynchrone Aufgaben, weniger geeignet für Echtzeit-Chat mit mehreren gleichzeitigen Nutzern.
Datenschutz als technische Konsequenz
Die Wahl einer lokalen Runtime hat eine direkte datenschutzrechtliche Konsequenz: Keine Anfragen, keine Antworten und keine Verarbeitungsmetadaten verlassen das Unternehmensnetz. Das ist der wesentliche Unterschied zu Cloud-APIs – unabhängig davon, ob das Modell auf Apple- oder NVIDIA-Hardware läuft.
Für Unternehmen in Deutschland und der EU bedeutet das: keine DSGVO-Meldepflicht für Drittlandstransfers, keine Auftragsverarbeitungsverträge mit US-Anbietern, keine Abhängigkeit von Preis- oder Nutzungsänderungen externer API-Anbieter. Eine Übersicht zu den rechtlichen Aspekten finden Sie unter freshlab.es/data-sovereignty.html.
Einen allgemeinen Einstieg in lokale KI für Unternehmen bietet freshlab.es/local-ai.html.
Investitionsförderung in Deutschland
Für Unternehmen, die KI-Hardware anschaffen, kommen in Deutschland verschiedene Förderinstrumente in Betracht – etwa die BAFA-Förderung für Beratungsleistungen rund um die Digitalisierung oder KfW-Digitalisierungskredite für IT-Infrastrukturinvestitionen. Gemäß unserem Verständnis der aktuellen Förderrichtlinien gelten sowohl Beratungs- als auch Implementierungsleistungen im KI-Bereich als potenziell förderfähig; die genauen Konditionen hängen von Unternehmenstyp, Vorhaben und aktuellem Programmstand ab.
Starten Sie mit Ihrer Hardware
Die richtige lokale KI-Entscheidung beginnt nicht mit einem Modell-Ranking, sondern mit einem klaren Blick auf die vorhandene oder geplante Hardware. Mac, NVIDIA-GPU oder CPU – jeder Pfad führt zu produktiven Ergebnissen, wenn Runtime und Modellformat dazu passen.
Wenn Sie wissen möchten, welcher Setup konkret zu Ihrem Unternehmen passt, begleiten wir Sie von der Hardware-Entscheidung bis zur produktionsreifen Umsetzung: freshlab.es/pilotproject.html