> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/language-models/nemotron-3-ultra.md).

# NVIDIA Nemotron 3 Ultra (550B Mamba-MoE)

Clore.ai मार्केटप्लेस के Blackwell रिग्स पर NVIDIA Nemotron 3 Ultra, 550B ओपन Mamba-MoE हाइब्रिड, चलाएँ

{% hint style="info" %}
**स्थिति (अगस्त 2026):** NVIDIA ने घोषणा की **Nemotron 3 Ultra** Computex में **4 जून 2026 को** और इसे जारी किया **OpenMDW-1.1** लाइसेंस के तहत — वज़न, प्रशिक्षण डेटा, रेसिपी और रिइनफोर्समेंट-लर्निंग वातावरण। **कुल 550B / सक्रिय 55B**, हाइब्रिड **Mamba-2 + MoE + अटेंशन** आर्किटेक्चर के साथ, मल्टी-टोकन प्रेडिक्शन, संदर्भ तक **1M टोकन**. वज़न: [nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) और एक आधिकारिक [NVFP4 बिल्ड](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4).
{% endhint %}

यह रिलीज़ चीनी ओपन-वेट लहर से दो बातों में अलग है। पहला, **लाइसेंस असामान्य रूप से पूर्ण है**: OpenMDW-1.1 मॉडल, डेटा और रेसिपी को कवर करता है, इसलिए पूरी पाइपलाइन केवल चेकपॉइंट नहीं, बल्कि पुनरुत्पादित की जा सकती है। दूसरा, **आर्किटेक्चर एक साधारण ट्रांसफॉर्मर नहीं है** — इसमें इंटरलीव्ड Mamba-2 स्टेट-स्पेस लेयर्स के साथ MoE और चयनित अटेंशन लेयर्स हैं, इसलिए NVIDIA 550B डेंस-अटेंशन मॉडल की तुलना में कहीं अधिक थ्रूपुट का दावा करती है।

Clore.ai रेंटर्स के लिए एक अच्छा मेल है: आधिकारिक **NVFP4** चेकपॉइंट Blackwell के लिए बनाया गया है, और मार्केटप्लेस पर सबसे बड़े रिग 4× RTX PRO 6000 Blackwell (380GB) हैं।

### मुख्य विनिर्देश

| गुण          | मान                                                                        |
| ------------ | -------------------------------------------------------------------------- |
| पैरामीटर     | कुल 550B, सक्रिय 55B                                                       |
| आर्किटेक्चर  | LatentMoE — Mamba-2 + MoE + अटेंशन हाइब्रिड, MTP, 512 विशेषज्ञ (22 सक्रिय) |
| संदर्भ       | 1,000,000 टोकन तक                                                          |
| लाइसेंस      | OpenMDW-1.1 (मॉडल, डेटा, रेसिपी, RL वातावरण)                               |
| रिलीज़ तिथि  | 4 जून 2026 को                                                              |
| वज़न         | NVFP4 352GB · Q2\_K\_XL GGUF 202GB · Q3\_K\_M GGUF 274GB                   |
| मुख्य टूलिंग | vLLM, SGLang, TensorRT-LLM, llama.cpp                                      |

***

## आवश्यकताएँ

| बिल्ड          | आकार    | Clore.ai रिग                                         |
| -------------- | ------- | ---------------------------------------------------- |
| `UD-IQ1_M`     | 188GB   | 8× RTX 5090 (248GB)                                  |
| `UD-Q2_K_XL`   | 202GB   | 8× RTX 5090 (248GB) — ≥242GB पर 47 सर्वर             |
| `UD-Q3_K_M`    | 274GB   | 10× RTX 5090 (310GB) या 4× RTX PRO 6000 (380GB)      |
| आधिकारिक NVFP4 | 352GB   | 4× RTX PRO 6000 Blackwell (380GB) — 2 सर्वर सूचीबद्ध |
| आधिकारिक BF16  | \~1.1TB | [bare metal](https://clore.ai/bare-metal)            |

{% hint style="warning" %}
**NVFP4 के लिए Blackwell आवश्यक है।** FP4 टेन्सर कोर RTX 50-सीरीज़ और RTX PRO 6000 पर मौजूद हैं, Ada या Ampere पर नहीं। 4090 या 3090 रिग पर, इसके बजाय GGUF बिल्ड का उपयोग करें। देखें [CUDA और PyTorch संगतता](/guides/guides_v2-hi/getting-started/cuda-pytorch-compatibility.md).
{% endhint %}

***

## तैनात करें

**Blackwell रिग पर NVFP4 (vLLM):**

```bash
vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \
  --enable-expert-parallel
```

**RTX 5090 रिग पर GGUF (llama.cpp):**

```bash
huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap
```

रीज़निंग एक चैट-टेम्पलेट फ्लैग है: मॉडल अपने उत्तर से पहले एक रीज़निंग ट्रेस निकालता है, और कम-लेटेंसी कॉल्स के लिए आप इसे बंद कर सकते हैं।

अन्य प्रीबिल्ट चेकपॉइंट्स: [`RedHatAI/...-FP8-dynamic`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic) और [`RedHatAI/...-quantized.w4a16`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16).

***

## Clore.ai GPU अनुशंसाएँ

| सेटअप                         | कुल VRAM  | बिल्ड              | Clore.ai लागत     |
| ----------------------------- | --------- | ------------------ | ----------------- |
| 8× RTX 5090                   | 248GB     | Q2\_K\_XL GGUF     | \~$2.00–3.50/घंटा |
| 10× RTX 5090                  | 310GB     | Q3\_K\_M GGUF      | \~$5.00/घंटा      |
| **4× RTX PRO 6000 Blackwell** | **380GB** | **आधिकारिक NVFP4** | **\~$5.00/घंटा**  |

***

## उपयोग के मामले

* **लंबे समय तक चलने वाले एजेंट्स** — NVIDIA ने ठीक इसी उद्देश्य के लिए RL वातावरण बनाया और इसे वज़नों के साथ शिप किया
* **पुनरुत्पादनीय शोध** — डेटा और रेसिपी लाइसेंस द्वारा कवर हैं, इसलिए परिणामों को फिर से बनाया जा सकता है, सिर्फ दोहराया नहीं
* **उच्च-थ्रूपुट रीज़निंग** — Mamba हाइब्रिड समान आकार के डेंस-अटेंशन मॉडल की तुलना में तेज़ डिकोड करता है
* **उच्च-जोखिम RAG** — लंबा संदर्भ और एक रीज़निंग ट्रेस जिसे आप जाँच सकते हैं
* **अमेरिकी-न्यायक्षेत्र ओपन वेट्स** — गर्मियों का सबसे मजबूत, अमेरिकी-विकसित ओपन-वेट मॉडल, जहाँ खरीद-प्रक्रिया की दृष्टि से यह मायने रखता है

***

## समस्या निवारण

| समस्या                          | ठीक करें                                                                              |
| ------------------------------- | ------------------------------------------------------------------------------------- |
| NVFP4 लोड होने में विफल         | रिग Blackwell नहीं है — GGUF या FP8 बिल्ड का उपयोग करें                               |
| `nemotron_h` आर्किटेक्चर अज्ञात | vLLM/SGLang/llama.cpp अपडेट करें; हाइब्रिड Mamba लेयर्स को हालिया समर्थन की ज़रूरत है |
| हर उत्तर में रीज़निंग ट्रेस     | छोटी-लेटेंसी कॉल्स के लिए चैट टेम्पलेट में रीज़निंग फ़्लैग बंद करें                   |
| थ्रूपुट अपेक्षा से कम           | MTP-आधारित स्पेक्युलेटिव डिकोडिंग सक्षम करें; मॉडल MTP लेयर्स के साथ आता है           |
| Q3 पर 8× 5090 में OOM           | Q3\_K\_M 274GB है — आपको 310GB+ VRAM चाहिए                                            |

***

## अगले चरण

* **छोटा भाई:** [Nemotron 3 Super](/guides/guides_v2-hi/language-models/nvidia-nemotron-3-super.md) — 120B MoE, बहुत छोटे रिग्स में फिट बैठता है
* **उसी वज़न वर्ग में:** [GLM-5.2](/guides/guides_v2-hi/language-models/glm-5-2.md) · [MiniMax M3](/guides/guides_v2-hi/language-models/minimax-m3.md) · [DeepSeek V4](/guides/guides_v2-hi/language-models/deepseek-v4.md)
* **एकल-कार्ड विकल्प:** [Qwen3.8-27B](/guides/guides_v2-hi/language-models/qwen38-27b.md)
* **Serving:** [TensorRT-LLM](/guides/guides_v2-hi/gpu-devops/tensorrt-llm.md) · [vLLM](/guides/guides_v2-hi/language-models/vllm.md)

### लिंक्स

* [Nemotron 3 Ultra BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) · [NVFP4](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4) · [GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF)
* [OpenMDW-1.1 लाइसेंस](https://openmdw.ai/license/1-1/)
* **GPU किराये पर लें:** [RTX 5090](https://clore.ai/rent-5090.html) · [मार्केटप्लेस](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.clore.ai/guides/guides_v2-hi/language-models/nemotron-3-ultra.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.