NVIDIA Nemotron 3 Ultra (550B Mamba-MoE)

Führe NVIDIA Nemotron 3 Ultra, den offenen 550B Mamba-MoE-Hybrid, auf Blackwell-Rigs aus dem Clore.ai-Marktplatz aus

Stand (August 2026): NVIDIA kündigte an Nemotron 3 Ultra auf der Computex am 4. Juni 2026 und veröffentlichte es unter der OpenMDW-1.1 Lizenz — Gewichte, Trainingsdaten, Rezept und die Reinforcement-Learning-Umgebung. 550B insgesamt / 55B aktiv, Hybrid Mamba-2 + MoE + Aufmerksamkeit Architektur mit Multi-Token-Vorhersage, Kontext bis zu 1 Mio. Token. Gewichte: nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 und ein offizielles NVFP4-Build.

Zwei Dinge heben diese Veröffentlichung von der chinesischen Open-Weight-Welle ab. Erstens, ist die Lizenz ungewöhnlich vollständig: OpenMDW-1.1 deckt das Modell, die Daten und das Rezept ab, sodass die gesamte Pipeline reproduzierbar ist und nicht nur der Checkpoint. Zweitens, ist die Architektur kein einfacher Transformer — verzahnte Mamba-2-Zustandsraum-Layer mit MoE und ausgewählten Attention-Layern, weshalb NVIDIA einen Durchsatz angibt, der deutlich über dem liegt, was ein 550B-Dense-Attention-Modell liefern würde.

Für Clore.ai-Mieter passt es gut: Das offizielle NVFP4 Checkpoint ist für Blackwell gebaut, und die größten Rigs auf dem Marktplatz sind 4× RTX PRO 6000 Blackwell (380 GB).

Wichtige Spezifikationen

Eigenschaft	Wert
Parameter	550B insgesamt, 55B aktiv
Architektur	LatentMoE — Mamba-2 + MoE + Attention-Hybrid, MTP, 512 Experten (22 aktiv)
Kontext	Bis zu 1.000.000 Token
Lizenz	OpenMDW-1.1 (Modell, Daten, Rezept, RL-Umgebung)
Veröffentlichungsdatum	4. Juni 2026
Gewichte	NVFP4 352 GB · Q2_K_XL GGUF 202 GB · Q3_K_M GGUF 274 GB
Primäre Tools	vLLM, SGLang, TensorRT-LLM, llama.cpp

---

Anforderungen

Build	Größe	Clore.ai-Rig
UD-IQ1_M	188 GB	8× RTX 5090 (248 GB)
UD-Q2_K_XL	202 GB	8× RTX 5090 (248 GB) — 47 Server mit ≥242 GB
UD-Q3_K_M	274 GB	10× RTX 5090 (310GB) oder 4× RTX PRO 6000 (380GB)
NVFP4 offiziell	352 GB	4× RTX PRO 6000 Blackwell (380 GB) — 2 Server aufgeführt
BF16 offiziell	~1,1 TB	Bare Metal

NVFP4 erfordert Blackwell. Die FP4-Tensor-Cores gibt es auf der RTX-50er-Serie und der RTX PRO 6000, nicht auf Ada oder Ampere. Auf einem 4090- oder 3090-Rig verwenden Sie stattdessen die GGUF-Builds. Siehe CUDA- & PyTorch-Kompatibilität.

---

Bereitstellen

NVFP4 auf einem Blackwell-Rig (vLLM):

vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \\
  --enable-expert-parallel

GGUF auf einem RTX-5090-Rig (llama.cpp):

huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap

Reasoning ist ein Flag der Chat-Vorlage: Das Modell gibt vor der Antwort eine Reasoning-Spur aus, und Sie können das für latenzsensitive Aufrufe deaktivieren.

Weitere vorgefertigte Checkpoints: RedHatAI/...-FP8-dynamic und RedHatAI/...-quantized.w4a16.

---

GPU-Empfehlungen für Clore.ai

Einrichtung	Gesamter VRAM	Build	Clore.ai-Kosten
8× RTX 5090	248GB	Q2_K_XL GGUF	~$2.00–3.50/h
10× RTX 5090	310GB	Q3_K_M GGUF	~$5.00/hr
4× RTX PRO 6000 Blackwell	380GB	NVFP4 offiziell	~$5.00/hr

---

Anwendungsfälle

• Lang laufende Agenten — NVIDIA hat die RL-Umgebung genau dafür gebaut und zusammen mit den Gewichten ausgeliefert

• Reproduzierbare Forschung — Daten und Rezept sind von der Lizenz abgedeckt, sodass Ergebnisse neu erstellt und nicht nur wiedergegeben werden können

• Reasoning mit hohem Durchsatz — der Mamba-Hybrid dekodiert schneller als ein Dense-Attention-Modell vergleichbarer Größe

• Kritisches RAG — langer Kontext plus eine Reasoning-Spur, die Sie prüfen können

• Open-Weights unter US-Rechtsordnung — das stärkste in den USA entwickelte Open-Weight-Modell des Sommers, wo das beschaffungstechnisch relevant ist

---

Fehlerbehebung

Problem	Fix
NVFP4 lässt sich nicht laden	Das Rig ist kein Blackwell — verwenden Sie GGUF oder einen FP8-Build
nemotron_h Architektur unbekannt	Aktualisieren Sie vLLM/SGLang/llama.cpp; die hybriden Mamba-Layer benötigen aktuelle Unterstützung
Reasoning-Spuren in jeder Antwort	Schalten Sie das Reasoning-Flag in der Chat-Vorlage für Aufrufe mit kurzer Latenz aus
Durchsatz unter den Erwartungen	Aktivieren Sie MTP-basiertes spekulatives Decoding; das Modell wird mit MTP-Layern ausgeliefert
OOM bei 8× 5090 bei Q3	Q3_K_M ist 274 GB — Sie brauchen mehr als 310 GB VRAM

---

Nächste Schritte

• Kleineres Geschwistermodell: Nemotron 3 Super — 120B MoE, passt auf deutlich kleinere Rigs

• Gleiche Gewichtsklasse: GLM-5.2 · MiniMax M3 · DeepSeek V4

• Einzelkarten-Alternative: Qwen3.8-27B

• Bereitstellung: TensorRT-LLM · vLLM

Links

• Nemotron 3 Ultra BF16 · NVFP4 · GGUF

• OpenMDW-1.1-Lizenz

• Eine GPU mieten: RTX 5090 · Marktplatz