> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/nemotron-3-ultra.md).

# NVIDIA Nemotron 3 Ultra (550B Mamba-MoE)

Führe NVIDIA Nemotron 3 Ultra, den offenen 550B Mamba-MoE-Hybrid, auf Blackwell-Rigs aus dem Clore.ai-Marktplatz aus

{% hint style="info" %}
**Stand (August 2026):** NVIDIA kündigte an **Nemotron 3 Ultra** auf der Computex am **4. Juni 2026** und veröffentlichte es unter der **OpenMDW-1.1** Lizenz — Gewichte, Trainingsdaten, Rezept und die Reinforcement-Learning-Umgebung. **550B insgesamt / 55B aktiv**, Hybrid **Mamba-2 + MoE + Aufmerksamkeit** Architektur mit Multi-Token-Vorhersage, Kontext bis zu **1 Mio. Token**. Gewichte: [nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) und ein offizielles [NVFP4-Build](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4).
{% endhint %}

Zwei Dinge heben diese Veröffentlichung von der chinesischen Open-Weight-Welle ab. Erstens, **ist die Lizenz ungewöhnlich vollständig**: OpenMDW-1.1 deckt das Modell, die Daten und das Rezept ab, sodass die gesamte Pipeline reproduzierbar ist und nicht nur der Checkpoint. Zweitens, **ist die Architektur kein einfacher Transformer** — verzahnte Mamba-2-Zustandsraum-Layer mit MoE und ausgewählten Attention-Layern, weshalb NVIDIA einen Durchsatz angibt, der deutlich über dem liegt, was ein 550B-Dense-Attention-Modell liefern würde.

Für Clore.ai-Mieter passt es gut: Das offizielle **NVFP4** Checkpoint ist für Blackwell gebaut, und die größten Rigs auf dem Marktplatz sind 4× RTX PRO 6000 Blackwell (380 GB).

### Wichtige Spezifikationen

| Eigenschaft            | Wert                                                                       |
| ---------------------- | -------------------------------------------------------------------------- |
| Parameter              | 550B insgesamt, 55B aktiv                                                  |
| Architektur            | LatentMoE — Mamba-2 + MoE + Attention-Hybrid, MTP, 512 Experten (22 aktiv) |
| Kontext                | Bis zu 1.000.000 Token                                                     |
| Lizenz                 | OpenMDW-1.1 (Modell, Daten, Rezept, RL-Umgebung)                           |
| Veröffentlichungsdatum | 4. Juni 2026                                                               |
| Gewichte               | NVFP4 352 GB · Q2\_K\_XL GGUF 202 GB · Q3\_K\_M GGUF 274 GB                |
| Primäre Tools          | vLLM, SGLang, TensorRT-LLM, llama.cpp                                      |

***

## Anforderungen

| Build           | Größe    | Clore.ai-Rig                                             |
| --------------- | -------- | -------------------------------------------------------- |
| `UD-IQ1_M`      | 188 GB   | 8× RTX 5090 (248 GB)                                     |
| `UD-Q2_K_XL`    | 202 GB   | 8× RTX 5090 (248 GB) — 47 Server mit ≥242 GB             |
| `UD-Q3_K_M`     | 274 GB   | 10× RTX 5090 (310GB) oder 4× RTX PRO 6000 (380GB)        |
| NVFP4 offiziell | 352 GB   | 4× RTX PRO 6000 Blackwell (380 GB) — 2 Server aufgeführt |
| BF16 offiziell  | \~1,1 TB | [Bare Metal](https://clore.ai/bare-metal)                |

{% hint style="warning" %}
**NVFP4 erfordert Blackwell.** Die FP4-Tensor-Cores gibt es auf der RTX-50er-Serie und der RTX PRO 6000, nicht auf Ada oder Ampere. Auf einem 4090- oder 3090-Rig verwenden Sie stattdessen die GGUF-Builds. Siehe [CUDA- & PyTorch-Kompatibilität](/guides/guides_v2-de/erste-schritte/cuda-pytorch-compatibility.md).
{% endhint %}

***

## Bereitstellen

**NVFP4 auf einem Blackwell-Rig (vLLM):**

```bash
vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \\
  --enable-expert-parallel
```

**GGUF auf einem RTX-5090-Rig (llama.cpp):**

```bash
huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap
```

Reasoning ist ein Flag der Chat-Vorlage: Das Modell gibt vor der Antwort eine Reasoning-Spur aus, und Sie können das für latenzsensitive Aufrufe deaktivieren.

Weitere vorgefertigte Checkpoints: [`RedHatAI/...-FP8-dynamic`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic) und [`RedHatAI/...-quantized.w4a16`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16).

***

## GPU-Empfehlungen für Clore.ai

| Einrichtung                   | Gesamter VRAM | Build               | Clore.ai-Kosten |
| ----------------------------- | ------------- | ------------------- | --------------- |
| 8× RTX 5090                   | 248GB         | Q2\_K\_XL GGUF      | \~$2.00–3.50/h  |
| 10× RTX 5090                  | 310GB         | Q3\_K\_M GGUF       | \~$5.00/hr      |
| **4× RTX PRO 6000 Blackwell** | **380GB**     | **NVFP4 offiziell** | **\~$5.00/hr**  |

***

## Anwendungsfälle

* **Lang laufende Agenten** — NVIDIA hat die RL-Umgebung genau dafür gebaut und zusammen mit den Gewichten ausgeliefert
* **Reproduzierbare Forschung** — Daten und Rezept sind von der Lizenz abgedeckt, sodass Ergebnisse neu erstellt und nicht nur wiedergegeben werden können
* **Reasoning mit hohem Durchsatz** — der Mamba-Hybrid dekodiert schneller als ein Dense-Attention-Modell vergleichbarer Größe
* **Kritisches RAG** — langer Kontext plus eine Reasoning-Spur, die Sie prüfen können
* **Open-Weights unter US-Rechtsordnung** — das stärkste in den USA entwickelte Open-Weight-Modell des Sommers, wo das beschaffungstechnisch relevant ist

***

## Fehlerbehebung

| Problem                            | Fix                                                                                                |
| ---------------------------------- | -------------------------------------------------------------------------------------------------- |
| NVFP4 lässt sich nicht laden       | Das Rig ist kein Blackwell — verwenden Sie GGUF oder einen FP8-Build                               |
| `nemotron_h` Architektur unbekannt | Aktualisieren Sie vLLM/SGLang/llama.cpp; die hybriden Mamba-Layer benötigen aktuelle Unterstützung |
| Reasoning-Spuren in jeder Antwort  | Schalten Sie das Reasoning-Flag in der Chat-Vorlage für Aufrufe mit kurzer Latenz aus              |
| Durchsatz unter den Erwartungen    | Aktivieren Sie MTP-basiertes spekulatives Decoding; das Modell wird mit MTP-Layern ausgeliefert    |
| OOM bei 8× 5090 bei Q3             | Q3\_K\_M ist 274 GB — Sie brauchen mehr als 310 GB VRAM                                            |

***

## Nächste Schritte

* **Kleineres Geschwistermodell:** [Nemotron 3 Super](/guides/guides_v2-de/sprachmodelle/nvidia-nemotron-3-super.md) — 120B MoE, passt auf deutlich kleinere Rigs
* **Gleiche Gewichtsklasse:** [GLM-5.2](/guides/guides_v2-de/sprachmodelle/glm-5-2.md) · [MiniMax M3](/guides/guides_v2-de/sprachmodelle/minimax-m3.md) · [DeepSeek V4](/guides/guides_v2-de/sprachmodelle/deepseek-v4.md)
* **Einzelkarten-Alternative:** [Qwen3.8-27B](/guides/guides_v2-de/sprachmodelle/qwen38-27b.md)
* **Bereitstellung:** [TensorRT-LLM](/guides/guides_v2-de/gpu-devops/tensorrt-llm.md) · [vLLM](/guides/guides_v2-de/sprachmodelle/vllm.md)

### Links

* [Nemotron 3 Ultra BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) · [NVFP4](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4) · [GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF)
* [OpenMDW-1.1-Lizenz](https://openmdw.ai/license/1-1/)
* **Eine GPU mieten:** [RTX 5090](https://clore.ai/rent-5090.html) · [Marktplatz](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/nemotron-3-ultra.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.