> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/nemotron-3-ultra.md).

# NVIDIA Nemotron 3 Ultra（550B Mamba-MoE）

在 Clore.ai 市场的 Blackwell 机器上运行 NVIDIA Nemotron 3 Ultra，这款 550B 开源 Mamba-MoE 混合模型

{% hint style="info" %}
**状态（2026年8月）：** NVIDIA 宣布 **Nemotron 3 Ultra** 于 Computex 上 **2026年6月4日** 并以以下方式发布： **OpenMDW-1.1** 许可证——权重、训练数据、配方以及强化学习环境。 **总计 550B / 激活 55B**，混合 **Mamba-2 + MoE + 注意力** 架构，带多 token 预测，上下文最长可达 **100 万个 token**。权重： [nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) 以及官方 [NVFP4 构建版本](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4).
{% endhint %}

这次发布与中国的开放权重浪潮有两点不同。第一， **许可证异常完整**：OpenMDW-1.1 覆盖模型、数据和配方，因此整个流程都可复现，而不只是检查点。第二， **架构并不是普通的 Transformer** ——它将 Mamba-2 状态空间层与 MoE 和选择性注意力层交错组合，因此 NVIDIA 公布的吞吐量远高于一个 550B 的密集注意力模型所能达到的水平。

对于 Clore.ai 的租赁用户来说，这非常契合：官方 **NVFP4** 检查点是为 Blackwell 构建的，而市场上最大的设备是 4× RTX PRO 6000 Blackwell（380GB）。

### 关键规格

| 属性    | 数值                                                       |
| ----- | -------------------------------------------------------- |
| 参数    | 总计 550B，激活 55B                                           |
| 架构    | LatentMoE — Mamba-2 + MoE + 注意力混合，MTP，512 个专家（22 个激活）    |
| 上下文   | 最长 1,000,000 个 token                                     |
| 许可证   | OpenMDW-1.1（模型、数据、配方、RL 环境）                              |
| 发布日期  | 2026年6月4日                                                |
| 权重    | NVFP4 352GB · Q2\_K\_XL GGUF 202GB · Q3\_K\_M GGUF 274GB |
| 主要工具链 | vLLM、SGLang、TensorRT-LLM、llama.cpp                       |

***

## 需求

| 构建版本         | 大小      | Clore.ai 设备                                 |
| ------------ | ------- | ------------------------------------------- |
| `UD-IQ1_M`   | 188GB   | 8× RTX 5090（248GB）                          |
| `UD-Q2_K_XL` | 202GB   | 8× RTX 5090（248GB）——47 台服务器，≥242GB          |
| `UD-Q3_K_M`  | 274GB   | 10× RTX 5090（310GB）或 4× RTX PRO 6000（380GB） |
| NVFP4 官方     | 352GB   | 4× RTX PRO 6000 Blackwell（380GB）——列出 2 台服务器 |
| BF16 官方      | 约 1.1TB | [裸机](https://clore.ai/bare-metal)           |

{% hint style="warning" %}
**NVFP4 需要 Blackwell。** FP4 张量核心存在于 RTX 50 系列和 RTX PRO 6000 上，而不在 Ada 或 Ampere 上。在 4090 或 3090 设备上，请改用 GGUF 构建版本。参见 [CUDA 与 PyTorch 兼容性](/guides/guides_v2-zh/ru-men-zhi-nan/cuda-pytorch-compatibility.md).
{% endhint %}

***

## 部署

**Blackwell 设备上的 NVFP4（vLLM）：**

```bash
vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \\
  --tensor-parallel-size 4 \\
  --trust-remote-code \\
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \\
  --enable-expert-parallel
```

**在 RTX 5090 设备上使用 GGUF（llama.cpp）：**

```bash
huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap
```

推理是聊天模板中的一个标志：模型会在回答前输出推理轨迹，而你可以在对延迟敏感的调用中将其关闭。

其他预构建检查点： [`RedHatAI/...-FP8-dynamic`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic) 以及 [`RedHatAI/...-quantized.w4a16`](https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16).

***

## Clore.ai GPU 推荐

| 配置                            | 总显存       | 构建版本           | Clore.ai 成本       |
| ----------------------------- | --------- | -------------- | ----------------- |
| 8× RTX 5090                   | 248GB     | Q2\_K\_XL GGUF | 约 2.00–3.50 美元/小时 |
| 10× RTX 5090                  | 310GB     | Q3\_K\_M GGUF  | 约 5.00 美元/小时      |
| **4× RTX PRO 6000 Blackwell** | **380GB** | **NVFP4 官方**   | **约 5.00 美元/小时**  |

***

## 应用场景

* **长时间运行的代理** ——NVIDIA 正是为此构建了 RL 环境，并随权重一并发布
* **可复现研究** ——数据和配方都受许可证覆盖，因此结果可以重建，而不只是回放
* **高吞吐量推理** ——Mamba 混合架构的解码速度比同等规模的密集注意力模型更快
* **高风险 RAG** ——长上下文加上可检查的推理轨迹
* **美国司法辖区开放权重** ——这是今年夏天美国开发的最强开放权重模型，在采购上若有合规要求，这一点很重要

***

## 故障排查

| 问题                     | 修复                                         |
| ---------------------- | ------------------------------------------ |
| NVFP4 加载失败             | 该设备不是 Blackwell——请使用 GGUF 或 FP8 构建版本       |
| `nemotron_h` 架构未知      | 更新 vLLM/SGLang/llama.cpp；混合 Mamba 层需要较新的支持 |
| 每个回复都包含推理轨迹            | 在聊天模板中关闭推理标志，以减少延迟                         |
| 吞吐量低于预期                | 启用基于 MTP 的投机解码；该模型自带 MTP 层                 |
| 在 8× 5090 上使用 Q3 时内存不足 | Q3\_K\_M 为 274GB——你需要 310GB 以上的显存          |

***

## 下一步

* **更小的兄弟版本：** [Nemotron 3 Super](/guides/guides_v2-zh/yu-yan-mo-xing/nvidia-nemotron-3-super.md) ——120B MoE，适合小得多的设备
* **同一量级：** [GLM-5.2](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-2.md) · [MiniMax M3](/guides/guides_v2-zh/yu-yan-mo-xing/minimax-m3.md) · [DeepSeek V4](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-v4.md)
* **单卡替代方案：** [Qwen3.8-27B](/guides/guides_v2-zh/yu-yan-mo-xing/qwen38-27b.md)
* **服务：** [TensorRT-LLM](/guides/guides_v2-zh/gpu-devops/tensorrt-llm.md) · [vLLM](/guides/guides_v2-zh/yu-yan-mo-xing/vllm.md)

### 链接

* [Nemotron 3 Ultra BF16](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16) · [NVFP4](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4) · [GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF)
* [OpenMDW-1.1 许可证](https://openmdw.ai/license/1-1/)
* **租用 GPU：** [RTX 5090](https://clore.ai/rent-5090.html) · [市场](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/nemotron-3-ultra.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.