NVIDIA Nemotron 3 Ultra（550B Mamba-MoE）

在 Clore.ai 市场的 Blackwell 机器上运行 NVIDIA Nemotron 3 Ultra，这款 550B 开源 Mamba-MoE 混合模型

状态（2026年8月）： NVIDIA 宣布 Nemotron 3 Ultra 于 Computex 上 2026年6月4日 并以以下方式发布： OpenMDW-1.1 许可证——权重、训练数据、配方以及强化学习环境。 总计 550B / 激活 55B，混合 Mamba-2 + MoE + 注意力 架构，带多 token 预测，上下文最长可达 100 万个 token。权重： nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 以及官方 NVFP4 构建版本.

这次发布与中国的开放权重浪潮有两点不同。第一， 许可证异常完整：OpenMDW-1.1 覆盖模型、数据和配方，因此整个流程都可复现，而不只是检查点。第二， 架构并不是普通的 Transformer ——它将 Mamba-2 状态空间层与 MoE 和选择性注意力层交错组合，因此 NVIDIA 公布的吞吐量远高于一个 550B 的密集注意力模型所能达到的水平。

对于 Clore.ai 的租赁用户来说，这非常契合：官方 NVFP4 检查点是为 Blackwell 构建的，而市场上最大的设备是 4× RTX PRO 6000 Blackwell（380GB）。

关键规格

属性	数值
参数	总计 550B，激活 55B
架构	LatentMoE — Mamba-2 + MoE + 注意力混合，MTP，512 个专家（22 个激活）
上下文	最长 1,000,000 个 token
许可证	OpenMDW-1.1（模型、数据、配方、RL 环境）
发布日期	2026年6月4日
权重	NVFP4 352GB · Q2_K_XL GGUF 202GB · Q3_K_M GGUF 274GB
主要工具链	vLLM、SGLang、TensorRT-LLM、llama.cpp

---

需求

构建版本	大小	Clore.ai 设备
UD-IQ1_M	188GB	8× RTX 5090（248GB）
UD-Q2_K_XL	202GB	8× RTX 5090（248GB）——47 台服务器，≥242GB
UD-Q3_K_M	274GB	10× RTX 5090（310GB）或 4× RTX PRO 6000（380GB）
NVFP4 官方	352GB	4× RTX PRO 6000 Blackwell（380GB）——列出 2 台服务器
BF16 官方	约 1.1TB	裸机

NVFP4 需要 Blackwell。 FP4 张量核心存在于 RTX 50 系列和 RTX PRO 6000 上，而不在 Ada 或 Ampere 上。在 4090 或 3090 设备上，请改用 GGUF 构建版本。参见 CUDA 与 PyTorch 兼容性.

---

部署

Blackwell 设备上的 NVFP4（vLLM）：

vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \\
  --trust-remote-code \\
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \\
  --enable-expert-parallel

在 RTX 5090 设备上使用 GGUF（llama.cpp）：

huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap

推理是聊天模板中的一个标志：模型会在回答前输出推理轨迹，而你可以在对延迟敏感的调用中将其关闭。

其他预构建检查点： RedHatAI/...-FP8-dynamic 以及 RedHatAI/...-quantized.w4a16.

---

Clore.ai GPU 推荐

配置	总显存	构建版本	Clore.ai 成本
8× RTX 5090	248GB	Q2_K_XL GGUF	约 2.00–3.50 美元/小时
10× RTX 5090	310GB	Q3_K_M GGUF	约 5.00 美元/小时
4× RTX PRO 6000 Blackwell	380GB	NVFP4 官方	约 5.00 美元/小时

---

应用场景

• 长时间运行的代理 ——NVIDIA 正是为此构建了 RL 环境，并随权重一并发布

• 可复现研究 ——数据和配方都受许可证覆盖，因此结果可以重建，而不只是回放

• 高吞吐量推理 ——Mamba 混合架构的解码速度比同等规模的密集注意力模型更快

• 高风险 RAG ——长上下文加上可检查的推理轨迹

• 美国司法辖区开放权重 ——这是今年夏天美国开发的最强开放权重模型，在采购上若有合规要求，这一点很重要

---

故障排查

问题	修复
NVFP4 加载失败	该设备不是 Blackwell——请使用 GGUF 或 FP8 构建版本
nemotron_h 架构未知	更新 vLLM/SGLang/llama.cpp；混合 Mamba 层需要较新的支持
每个回复都包含推理轨迹	在聊天模板中关闭推理标志，以减少延迟
吞吐量低于预期	启用基于 MTP 的投机解码；该模型自带 MTP 层
在 8× 5090 上使用 Q3 时内存不足	Q3_K_M 为 274GB——你需要 310GB 以上的显存

---

下一步

• 更小的兄弟版本： Nemotron 3 Super ——120B MoE，适合小得多的设备

• 同一量级： GLM-5.2 · MiniMax M3 · DeepSeek V4

• 单卡替代方案： Qwen3.8-27B

• 服务： TensorRT-LLM · vLLM

链接

• Nemotron 3 Ultra BF16 · NVFP4 · GGUF

• OpenMDW-1.1 许可证

• 租用 GPU： RTX 5090 · 市场