NVIDIA Nemotron 3 Ultra (550B Mamba-MoE)

Clore.ai मार्केटप्लेस के Blackwell रिग्स पर NVIDIA Nemotron 3 Ultra, 550B ओपन Mamba-MoE हाइब्रिड, चलाएँ

स्थिति (अगस्त 2026): NVIDIA ने घोषणा की Nemotron 3 Ultra Computex में 4 जून 2026 को और इसे जारी किया OpenMDW-1.1 लाइसेंस के तहत — वज़न, प्रशिक्षण डेटा, रेसिपी और रिइनफोर्समेंट-लर्निंग वातावरण। कुल 550B / सक्रिय 55B, हाइब्रिड Mamba-2 + MoE + अटेंशन आर्किटेक्चर के साथ, मल्टी-टोकन प्रेडिक्शन, संदर्भ तक 1M टोकन. वज़न: nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 और एक आधिकारिक NVFP4 बिल्ड.

यह रिलीज़ चीनी ओपन-वेट लहर से दो बातों में अलग है। पहला, लाइसेंस असामान्य रूप से पूर्ण है: OpenMDW-1.1 मॉडल, डेटा और रेसिपी को कवर करता है, इसलिए पूरी पाइपलाइन केवल चेकपॉइंट नहीं, बल्कि पुनरुत्पादित की जा सकती है। दूसरा, आर्किटेक्चर एक साधारण ट्रांसफॉर्मर नहीं है — इसमें इंटरलीव्ड Mamba-2 स्टेट-स्पेस लेयर्स के साथ MoE और चयनित अटेंशन लेयर्स हैं, इसलिए NVIDIA 550B डेंस-अटेंशन मॉडल की तुलना में कहीं अधिक थ्रूपुट का दावा करती है।

Clore.ai रेंटर्स के लिए एक अच्छा मेल है: आधिकारिक NVFP4 चेकपॉइंट Blackwell के लिए बनाया गया है, और मार्केटप्लेस पर सबसे बड़े रिग 4× RTX PRO 6000 Blackwell (380GB) हैं।

मुख्य विनिर्देश

गुण	मान
पैरामीटर	कुल 550B, सक्रिय 55B
आर्किटेक्चर	LatentMoE — Mamba-2 + MoE + अटेंशन हाइब्रिड, MTP, 512 विशेषज्ञ (22 सक्रिय)
संदर्भ	1,000,000 टोकन तक
लाइसेंस	OpenMDW-1.1 (मॉडल, डेटा, रेसिपी, RL वातावरण)
रिलीज़ तिथि	4 जून 2026 को
वज़न	NVFP4 352GB · Q2_K_XL GGUF 202GB · Q3_K_M GGUF 274GB
मुख्य टूलिंग	vLLM, SGLang, TensorRT-LLM, llama.cpp

---

आवश्यकताएँ

बिल्ड	आकार	Clore.ai रिग
UD-IQ1_M	188GB	8× RTX 5090 (248GB)
UD-Q2_K_XL	202GB	8× RTX 5090 (248GB) — ≥242GB पर 47 सर्वर
UD-Q3_K_M	274GB	10× RTX 5090 (310GB) या 4× RTX PRO 6000 (380GB)
आधिकारिक NVFP4	352GB	4× RTX PRO 6000 Blackwell (380GB) — 2 सर्वर सूचीबद्ध
आधिकारिक BF16	~1.1TB	bare metal

NVFP4 के लिए Blackwell आवश्यक है। FP4 टेन्सर कोर RTX 50-सीरीज़ और RTX PRO 6000 पर मौजूद हैं, Ada या Ampere पर नहीं। 4090 या 3090 रिग पर, इसके बजाय GGUF बिल्ड का उपयोग करें। देखें CUDA और PyTorch संगतता.

---

तैनात करें

Blackwell रिग पर NVFP4 (vLLM):

vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \
  --enable-expert-parallel

RTX 5090 रिग पर GGUF (llama.cpp):

huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap

रीज़निंग एक चैट-टेम्पलेट फ्लैग है: मॉडल अपने उत्तर से पहले एक रीज़निंग ट्रेस निकालता है, और कम-लेटेंसी कॉल्स के लिए आप इसे बंद कर सकते हैं।

अन्य प्रीबिल्ट चेकपॉइंट्स: RedHatAI/...-FP8-dynamic और RedHatAI/...-quantized.w4a16.

---

Clore.ai GPU अनुशंसाएँ

सेटअप	कुल VRAM	बिल्ड	Clore.ai लागत
8× RTX 5090	248GB	Q2_K_XL GGUF	~$2.00–3.50/घंटा
10× RTX 5090	310GB	Q3_K_M GGUF	~$5.00/घंटा
4× RTX PRO 6000 Blackwell	380GB	आधिकारिक NVFP4	~$5.00/घंटा

---

उपयोग के मामले

• लंबे समय तक चलने वाले एजेंट्स — NVIDIA ने ठीक इसी उद्देश्य के लिए RL वातावरण बनाया और इसे वज़नों के साथ शिप किया

• पुनरुत्पादनीय शोध — डेटा और रेसिपी लाइसेंस द्वारा कवर हैं, इसलिए परिणामों को फिर से बनाया जा सकता है, सिर्फ दोहराया नहीं

• उच्च-थ्रूपुट रीज़निंग — Mamba हाइब्रिड समान आकार के डेंस-अटेंशन मॉडल की तुलना में तेज़ डिकोड करता है

• उच्च-जोखिम RAG — लंबा संदर्भ और एक रीज़निंग ट्रेस जिसे आप जाँच सकते हैं

• अमेरिकी-न्यायक्षेत्र ओपन वेट्स — गर्मियों का सबसे मजबूत, अमेरिकी-विकसित ओपन-वेट मॉडल, जहाँ खरीद-प्रक्रिया की दृष्टि से यह मायने रखता है

---

समस्या निवारण

समस्या	ठीक करें
NVFP4 लोड होने में विफल	रिग Blackwell नहीं है — GGUF या FP8 बिल्ड का उपयोग करें
nemotron_h आर्किटेक्चर अज्ञात	vLLM/SGLang/llama.cpp अपडेट करें; हाइब्रिड Mamba लेयर्स को हालिया समर्थन की ज़रूरत है
हर उत्तर में रीज़निंग ट्रेस	छोटी-लेटेंसी कॉल्स के लिए चैट टेम्पलेट में रीज़निंग फ़्लैग बंद करें
थ्रूपुट अपेक्षा से कम	MTP-आधारित स्पेक्युलेटिव डिकोडिंग सक्षम करें; मॉडल MTP लेयर्स के साथ आता है
Q3 पर 8× 5090 में OOM	Q3_K_M 274GB है — आपको 310GB+ VRAM चाहिए

---

अगले चरण

• छोटा भाई: Nemotron 3 Super — 120B MoE, बहुत छोटे रिग्स में फिट बैठता है

• उसी वज़न वर्ग में: GLM-5.2 · MiniMax M3 · DeepSeek V4

• एकल-कार्ड विकल्प: Qwen3.8-27B

• Serving: TensorRT-LLM · vLLM

लिंक्स

• Nemotron 3 Ultra BF16 · NVFP4 · GGUF

• OpenMDW-1.1 लाइसेंस

• GPU किराये पर लें: RTX 5090 · मार्केटप्लेस