Auf der Computex am 4. Juni 2026 hat NVIDIA ein Modell veröffentlicht, das den Markt der offenen Sprachmodelle neu ordnet: Nemotron 3 Ultra. Mit 550 Milliarden Gesamtparametern in einer Mixture-of-Experts-Architektur und einem vollständig offenen Lizenzmodell, Gewichte, Trainingsdaten und Trainingsrezepte sind öffentlich zugänglich, markiert das Modell einen Wendepunkt. Erstmals übernimmt ein US-Anbieter mit einem Open-Weight-Modell die Führung im Artificial-Analysis-Intelligence-Index, laut Messungen der Community mit einem Wert von 47,7.
Für Unternehmen, die auf lokale KI setzen, ist das eine relevante Entwicklung: ein Modell mit Frontier-Qualität, das vollständig on-premise betreibbar ist, ohne Cloud-API, ohne Datenweitergabe.
Architektur: Effizienz durch MoE und Mamba2
Nemotron 3 Ultra aktiviert pro Anfrage nur rund 10 Prozent seiner Parameter, also etwa 55 Milliarden aktive Parameter statt 550. Diese Mixture-of-Experts-Logik ist der Kern des Effizienzgewinns: Das Modell hat die Kapazität eines sehr großen Modells, muss aber pro Token-Schritt nur einen kleinen Teil davon nutzen.
Die zugrundeliegende Architektur kombiniert zwei Ansätze:
- Mamba2-Transformer-Hybridarchitektur (LatentMoE): Selektive State-Space-Modelle aus der Mamba2-Familie ermöglichen die effiziente Verarbeitung sehr langer Sequenzen, ohne den quadratischen Speicher- und Rechenaufwand reiner Transformer-Modelle.
- Multi-Token Prediction (MTP): Anstatt Token für Token zu generieren, kann das Modell mehrere Ausgabe-Tokens gleichzeitig vorhersagen. Das beschleunigt die Ausgabe bei langen Sequenzen erheblich.
Das Ergebnis laut Messungen von Artificial Analysis: über 300 Token pro Sekunde in Standardkonfigurationen, in optimierten Setups auf NVIDIA-Hardware über 400 Output-Tokens pro Sekunde. Für KI-Agenten, die viele aufeinanderfolgende Schritte ausführen und dabei lange Ausgaben generieren, ist diese Geschwindigkeit ein entscheidender Faktor.
Das Modell wurde im NVFP4-Format trainiert, NVIDIAs proprietäres 4-Bit-Gleitkommaformat. Es ermöglicht kleinere Modellgrößen bei stabiler Qualität und ist auf NVIDIA-Hardware nativ unterstützt.
Kontext: 1 Million Tokens für komplexe Aufgaben
Nemotron 3 Ultra unterstützt ein Kontextfenster von 1 Million Tokens. In der Praxis bedeutet das: Ein KI-Agent kann ganze Unternehmensdokumentationen, Vertragsbündel, mehrstündige Meeting-Transkripte oder große Codebasen in einem einzigen Aufruf verarbeiten, ohne Inhalte manuell chunken zu müssen.
Diese Eigenschaft ist besonders für langlebige Agenten relevant, ein Einsatzmuster, das laut NVIDIA explizit im Mittelpunkt der Modellentwicklung stand. Der NVIDIA Developer Blog beschreibt den Anwendungszweck als "schnelleres und effizienteres Reasoning für long-running Agents".
Bereitstellung on-premise: vLLM, TensorRT-LLM, Hugging Face
NVIDIA hat Nemotron 3 Ultra auf Hugging Face veröffentlicht und unterstützt drei primäre Bereitstellungswege:
- vLLM: Die verbreitetste Open-Source-Inferenzlösung für Produktivumgebungen. Eignet sich für NVIDIA-GPU-Setups ab der H100-Klasse und ist OpenAI-API-kompatibel, Anwendungen lassen sich ohne Code-Änderungen umstellen.
- TensorRT-LLM: NVIDIAs optimierte Inferenzbibliothek, die den vollen Durchsatz insbesondere auf NVIDIA H200 und B200 ausschöpft. Empfohlen für Setups, bei denen maximaler Durchsatz Priorität hat.
- Hugging Face Transformers: Für Entwicklungsumgebungen und Prototyping, auch auf kleinerer Hardware nutzbar.
Für on-premise Betrieb ohne NVIDIA DGX-Systeme empfiehlt sich vLLM auf gemieteten GPU-Servern, etwa in europäischen Rechenzentren (DE, ES), um DSGVO-Konformität sicherzustellen. Für Unternehmen, die bereits NVIDIA-Hardware einsetzen, etwa im Rendering oder im CAD-Bereich, lässt sich die vorhandene Infrastruktur nutzen.
Datensouveränität als Hauptvorteil
Das zentrale Argument für den lokalen Betrieb bleibt unverändert: Wer Nemotron 3 Ultra on-premise betreibt, gibt keine Unternehmensdaten an externe Dienste weiter. Das ist für Kanzleien, Steuerberater, Gesundheitsunternehmen, Ingenieur- und Industriebetriebe besonders relevant, überall dort, wo vertrauliche Daten verarbeitet werden.
Cloud-APIs wie OpenAI, Anthropic oder Google verlangen, dass Anfragen über deren Server laufen. Bei lokalen Sprachmodellen verlässt keine Anfrage das eigene Netzwerk. Gemäß unserem Verständnis der DSGVO ist das ein wesentlicher Unterschied in der Risikobeurteilung nach Art. 32 DSGVO.
Mehr zu unserer Beratungsphilosophie zu Datensouveränität und lokaler KI finden Sie auf unserer dedizierten Seite.
Für welche KMU-Setups eignet sich Nemotron 3 Ultra?
Zur Einordnung: Nemotron 3 Ultra ist kein Modell für den Mac-Studio-Heimserver. Die MoE-Architektur mit 550B Gesamtparametern, auch im NVFP4-Format, benötigt NVIDIA-GPUs mit hohem VRAM. Ein realistisches Minimum für flüssige Inferenz sind zwei bis vier NVIDIA-H100-GPUs oder ein dediziertes NVIDIA-DGX-System.
Das bedeutet nicht, dass das Modell für KMU unrelevant ist. Realistische Einstiegspunkte:
- Gemietete GPU-Server in europäischen Rechenzentren: Stündlich abrechenbarer Zugang zu H100- oder B200-Hardware, vollständig on-premise innerhalb der EU.
- Bestehende NVIDIA-Workstation-Infrastruktur: Betriebe mit NVIDIA-Hochleistungshardware aus anderen Bereichen (CAD, Simulation, Video) können Nemotron 3 Ultra in freien Kapazitäten nutzen.
- NVIDIA DGX Spark: Das im Mai 2026 gestartete Kompaktsystem GB10 bietet 128 GB Unified Memory und eignet sich für 70B-Modelle, ob Nemotron-3-Varianten der unteren Größenklasse darauf laufen werden, prüfen wir in einem Pilotprojekt.
Für Mac-Studio-basierte Setups bleiben Modelle wie Llama 4, Qwen3 oder Gemma 4 die effizientere Wahl. Nemotron 3 Ultra positioniert sich als nächste Stufe für Unternehmen, die höhere Anforderungen an Reasoning-Qualität und Agenten-Durchsatz stellen.
Einordnung im Open-Weight-Ökosystem
Bis Juni 2026 war das Feld der stärksten Open-Weight-Modelle klar chinesisch dominiert: DeepSeek V4 Pro (April 2026, 1,6T Parameter, MIT-Lizenz), MiniMax M3 (1-Million-Token-Kontext), Kimi K2.7. Nemotron 3 Ultra ist das erste US-Modell, das laut Artificial-Analysis-Index in dieser Liga mitspielt.
Das hat praktische Bedeutung: US-Modelle unterliegen anderen Export- und Lizenzregeln als chinesische Modelle. Für europäische Unternehmen, die auf Lieferkettensicherheit und klare Lizenzierungsbedingungen achten müssen, ist ein leistungsfähiges US-Open-Weight-Modell eine relevante Alternative.
Nächste Schritte für Ihr Unternehmen
Wer heute plant, KI-Agenten für interne Prozesse einzusetzen, Dokumentenanalyse, automatisierte Berichterstellung, ERP-Anbindung per natürlicher Sprache, sollte Nemotron 3 Ultra als Option in die Hardware- und Infrastrukturplanung einbeziehen.
Freshlab berät KMU bei der Auswahl und Implementierung lokaler KI-Infrastruktur, von der Hardware-Konfiguration bis zur Integration in bestehende Systeme. Unser kAIra Tools deckt Mac-basierte Setups ab; für größere Agenten-Workloads auf NVIDIA-Hardware begleiten wir Sie durch ein strukturiertes Pilotprojekt.
Kontaktieren Sie uns, um zu besprechen, welche Infrastruktur für Ihre konkreten Anforderungen sinnvoll ist.