Ein lokaler KI-Server muss keine Enterprise-Investition sein. Eine gebrauchte NVIDIA RTX 3090 mit 24 GB VRAM gilt in der Praktiker-Community 2026 als das günstigste sinnvolle Einstiegsticket für 32B-Modelle wie Qwen3:32B und Gemma4:26B, Modelle, die bereits deutlich leistungsfähiger sind als das, was vor zwei Jahren die besten kommerziellen APIs boten. Wer diese Karte gebraucht kauft, zahlt nach Community-Berichten derzeit etwa 700-900 € für ein Gerät, das vollständige lokale Inferenz auf dem Niveau ermöglicht, das KMU für die meisten Workflows benötigen.
Diese Woche kursierte auf X ein ausführlicher Leitfaden zu Budget-GPU-Builds für lokale LLMs (Quelle), der die RTX 3090 als erste Empfehlung listet. Das ist kein Zufall: Der Markt für gebrauchte High-End-GPU der Turing-Turing- und Ampere-Generation ist gut eingependelt, und 24 GB VRAM ist genau der Schwellenwert, der relevante Modellgrößen öffnet.
Warum 24 GB VRAM der entscheidende Schwellenwert ist
Sprachmodelle laufen am schnellsten, wenn alle Gewichte vollständig im GPU-VRAM liegen. Reicht der VRAM nicht aus, werden Teile des Modells in den Systemspeicher ausgelagert, die Inferenzgeschwindigkeit bricht dann um einen Faktor 5-15 ein.
Die gängigen Modellgrößen 2026 in Q4-Quantisierung:
- 7B-Modelle: ~5 GB → passen auf jede GPU mit ≥8 GB VRAM
- 14B-Modelle: ~9 GB → passen auf 12-16 GB Karten (RTX 3060/4070)
- 27B-Modelle: ~16-17 GB → benötigen 20-24 GB zuverlässig
- 32B-Modelle: ~20 GB → 24 GB VRAM gibt noch 4 GB Puffer für den KV-Cache
- 70B-Modelle: ~43 GB → brauchen zwei 24-GB-Karten oder eine 48-GB-Profikarte
Mit 24 GB VRAM ist die 27B, 32B-Klasse vollständig zugänglich, ein Sprung, der qualitativ bedeutend ist. Modelle dieser Größenordnung übertreffen in der Praxis GPT-3.5-Niveau deutlich auf Structured-Output-Aufgaben, Textklassifikation und internen Q&A-Workflows.
Welche Modelle auf der RTX 3090 laufen
Laut Community-Messungen, die 2026 zu Qwen3.6-27B und verwandten Modellen veröffentlicht wurden:
| Modell | VRAM bei Q4 | Besonderheit |
|---|---|---|
| Qwen3:32B | ~20 GB | Starkes Reasoning, Deutsch/Spanisch/Englisch |
| Qwen3.6-27B | ~17 GB | Vision-Language: versteht auch Bilder |
| Gemma4:26B | ~18 GB | Apache 2.0-Lizenz, kommerziell frei |
| Gemma4:12B | ~8 GB | Multimodal (Text + Bild), 256K-Kontext |
| Llama3.3:70B | ~43 GB | Passt nicht auf eine 24-GB-Karte |
Qwen3.6-27B ist das Modell, das aktuell am meisten diskutiert wird: Es ist das erste dichte Open-Weight-Modell mit nativer Vision-Unterstützung, das komfortabel auf Consumer-Hardware läuft. Community-Guides empfehlen es als erste Wahl, wenn ein Modell sowohl Texte als auch Dokument-Screenshots verstehen soll.
Inferenzgeschwindigkeit: Was Sie realistisch erwarten können
Laut Messungen der Community (u.a. runaihome.com und explore.n1n.ai) liefert die RTX 3090 mit Qwen3.6-27B Q4\K\M:
- 35-40 tok/s mit Ollama (Standard-Setup, kein Tuning)
- 78-85 tok/s mit vLLM und spekulative Dekodierung via Qwen3-0.6B als Draft-Modell
Für KMU-Workflows ist die Ollama-Baseline in der Regel ausreichend: Ein vollständiges E-Mail-Konzept mit 300 Wörtern dauert bei 35 tok/s etwa 8-10 Sekunden. Die vLLM-Konfiguration lohnt sich für Multi-User-Betrieb, wenn mehrere Mitarbeitende gleichzeitig auf das Modell zugreifen sollen.
Komplette Build-Empfehlung für 2026
Laut Community-Guides ergibt sich für einen praxistauglichen lokalen KI-Server folgender Richtwert:
GPU: NVIDIA RTX 3090 (gebraucht), ca. 700-900 € 24 GB GDDR6X, 936 GB/s Speicherbandbreite. Gebrauchte Karten mit vertrauenswürdiger Verkaufshistorie finden sich auf eBay Kleinanzeigen und Spezialplattformen. Kühlung und Laufzeit prüfen.
CPU + Mainboard, ca. 350-550 € AMD Ryzen 7 7700X oder Intel Core i7-13xxx mit PCIe 4.0 × 16 genügt. Die CPU spielt für LLM-Inferenz eine untergeordnete Rolle; wichtig ist die PCIe-Bandbreite zur GPU.
Arbeitsspeicher: 64 GB DDR5, ca. 150-200 € Beim Laden großer Modelle wird temporär Systemspeicher beansprucht. 32 GB reicht technisch für Q4-Modelle bis 27B; 64 GB gibt Sicherheit für mehrere parallele Prozesse.
Speicher: 2 TB NVMe SSD, ca. 100 € Eine GGUF-Datei für ein 32B-Modell belegt 20-22 GB. Mit 2 TB kann man 5-10 Modelle parallel vorhalten.
Betriebssystem: Ubuntu 24.04 LTS, kostenlos NVIDIA CUDA, Ollama und vLLM sind auf Linux am besten dokumentiert und getestet.
Gesamtkosten: ca. 1.300-1.750 €, einmalig, kein Cloud-Abo.
Software-Stack: Ollama oder vLLM?
Einstieg mit Ollama (eine Minute bis zum laufenden Modell):
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:32bOllama erkennt die NVIDIA-GPU automatisch und lädt das Modell aus seinem Modelregister. Es stellt ein OpenAI-kompatibles REST-API unter localhost:11434 bereit, direkt nutzbar für Open WebUI und interne Tools.
Produktionsbetrieb mit vLLM (für Teamnutzung ab ~3 gleichzeitigen Nutzern):
vLLM bietet Continuous Batching und PagedAttention, bei gleichzeitigen Anfragen ist der Durchsatz deutlich höher als bei Ollama. Für den Aufbau eines internen KI-Servers haben wir einen separaten Leitfaden veröffentlicht.
Datenschutz und DSGVO: Der entscheidende Vorteil
Jede Anfrage, die an eine Cloud-API geht, verlässt Ihr Unternehmen. Auch wenn API-Anbieter Datenschutzgarantien machen: bei sensiblen Mandantendaten, Patientendaten, Personaldaten oder strategischen Dokumenten ist das in vielen Branchen keine akzeptable Situation.
Ein lokal betriebenes LLM löst dieses Problem vollständig:
- Keine Drittlandübertragung (Art. 44 ff. DSGVO): Daten verlassen den EU-Rechtsraum nicht.
- Kein Auftragsverarbeitungsvertrag mit einem Cloud-Anbieter erforderlich.
- Volle Kontrolle über Modellversion, Prompt-Logs, Antwortdaten und Updatezeitpunkte.
Das ist besonders relevant für Kanzleien, Steuerberatungen, Arztpraxen und jedes Unternehmen, das Art. 32 DSGVO-Pflichten zu erfüllen hat.
Mehr zur datenschutzrechtlichen Einordnung: Datensouveränität mit lokaler KI.
Wirtschaftlichkeit: Cloud vs. eigene Hardware
Ein intensiver API-Einsatz (z.B. GPT-4o für ein 5-köpfiges Team mit täglich 50-100 Anfragen à 2.000 Token) kostet gemäß aktuellen Listenpreisen grob 200-400 € pro Monat. Über drei Jahre sind das bis zu 14.000 €.
Eine RTX-3090-basierte Workstation kostet einmalig ca. 1.500 € und läuft, abgesehen von Stromkosten von ca. 3-5 € pro Monat im Betrieb, kostenfrei. Die Amortisierung liegt nach unserem Verständnis häufig zwischen 6 und 14 Monaten, je nach Nutzungsintensität. Individuelle Berechnungen hängen von konkreten Nutzungsmustern ab.
Hinweis zur BAFA-Förderung: Hardware-Investitionen in betriebliche Digitalisierungsinfrastruktur können unter bestimmten Voraussetzungen über BAFA-Programme förderungsfähig sein. Gemäß unserem Verständnis ist dies im Einzelfall zu prüfen; eine Beratung durch einen zugelassenen Berater empfiehlt sich.
Wann die RTX 3090 nicht ausreicht
- 70B-Modelle ohne VRAM-Kompromiss: Zwei RTX 3090 im NVLink-Verbund oder eine NVIDIA RTX 6000 Ada (48 GB, ~4.000 €) sind dann die nächste Stufe.
- Viele parallele Nutzende (>20 gleichzeitig): Hier ist ein dedizierter GPU-Server oder eine Multi-Node-Lösung sinnvoll.
- Keine eigene IT: Setup, CUDA-Konfiguration und laufende Pflege erfordern Linux-Kenntnisse. Ohne interne IT-Ressourcen empfiehlt sich ein begleitetes Pilotprojekt.
Wenn Sie prüfen möchten, welcher lokale KI-Stack für Ihr Unternehmen passt, Hardware-Auswahl, DSGVO-Check, Use-Case-Analyse, begleiten wir Sie von der ersten Frage bis zum produktiven Einsatz.