NVIDIA Nemotron 3 Ultra (550B Mamba-MoE)

Ejecuta NVIDIA Nemotron 3 Ultra, el híbrido abierto Mamba-MoE de 550B, en rigs Blackwell del marketplace de Clore.ai

Estado (agosto de 2026): NVIDIA anunció Nemotron 3 Ultra en Computex el 4 de junio de 2026 y lo lanzó bajo la OpenMDW-1.1 licencia — pesos, datos de entrenamiento, receta y el entorno de aprendizaje por refuerzo. 550B en total / 55B activos, híbrido Mamba-2 + MoE + atención arquitectura con predicción de múltiples tokens, contexto de hasta 1M de tokens. Pesos: nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 y una compilación oficial NVFP4.

Dos cosas distinguen esta versión de la ola china de pesos abiertos. Primero, la licencia es inusualmente completa: OpenMDW-1.1 cubre el modelo, los datos y la receta, así que todo el canal es reproducible y no solo el checkpoint. Segundo, la arquitectura no es un transformer simple — capas de espacio de estados Mamba-2 entrelazadas con MoE y capas selectas de atención, por lo que NVIDIA cita un rendimiento muy superior al que daría un modelo de atención densa de 550B.

Para los arrendatarios de Clore.ai hay una buena compatibilidad: el NVFP4 checkpoint oficial está diseñado para Blackwell, y los rigs más grandes del marketplace son 4× RTX PRO 6000 Blackwell (380GB).

Especificaciones clave

Propiedad	Valor
Parámetros	550B en total, 55B activos
Arquitectura	LatentMoE — híbrido Mamba-2 + MoE + atención, MTP, 512 expertos (22 activos)
Contexto	Hasta 1.000.000 de tokens
Licencia	OpenMDW-1.1 (modelo, datos, receta, entorno RL)
Fecha de lanzamiento	4 de junio de 2026
Pesos	NVFP4 352GB · Q2_K_XL GGUF 202GB · Q3_K_M GGUF 274GB
Herramientas principales	vLLM, SGLang, TensorRT-LLM, llama.cpp

---

Requisitos

Versión	Tamaño	rig de Clore.ai
UD-IQ1_M	188GB	8× RTX 5090 (248GB)
UD-Q2_K_XL	202GB	8× RTX 5090 (248GB) — 47 servidores con ≥242GB
UD-Q3_K_M	274GB	10× RTX 5090 (310 GB) o 4× RTX PRO 6000 (380 GB)
NVFP4 oficial	352GB	4× RTX PRO 6000 Blackwell (380GB) — 2 servidores listados
BF16 oficial	~1.1TB	bare metal

NVFP4 requiere Blackwell. Los tensor cores FP4 existen en la serie RTX 50 y RTX PRO 6000, no en Ada ni en Ampere. En un rig con 4090 o 3090, usa en su lugar las compilaciones GGUF. Ver Compatibilidad de CUDA y PyTorch.

---

Implementar

NVFP4 en un rig Blackwell (vLLM):

vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 \
  --tensor-parallel-size 4 \\
  --trust-remote-code \\
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \\
  --enable-expert-parallel

GGUF en un rig RTX 5090 (llama.cpp):

huggingface-cli download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \
  --include "*UD-Q2_K_XL*" --local-dir /workspace/nemotron

llama-server -m /workspace/nemotron/*UD-Q2_K_XL*-00001-of-*.gguf \
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer -c 131072 --flash-attn --no-mmap

Reasoning es una bandera de la plantilla de chat: el modelo emite una traza de razonamiento antes de su respuesta, y puedes desactivarla para llamadas sensibles a la latencia.

Otros checkpoints precompilados: RedHatAI/...-FP8-dynamic y RedHatAI/...-quantized.w4a16.

---

Recomendaciones de GPU para Clore.ai

Configuración	VRAM total	Versión	Coste en Clore.ai
8× RTX 5090	248 GB	Q2_K_XL GGUF	~$2.00–3.50/h
10× RTX 5090	310 GB	Q3_K_M GGUF	~$5.00/h
4× RTX PRO 6000 Blackwell	380 GB	NVFP4 oficial	~$5.00/h

---

Casos de uso

• Agentes de larga duración — NVIDIA construyó el entorno RL exactamente para esto y lo incluyó con los pesos

• Investigación reproducible — los datos y la receta están cubiertos por la licencia, así que los resultados pueden reconstruirse, no solo reproducirse

• Razonamiento de alto rendimiento — el híbrido Mamba decodifica más rápido que un modelo de atención densa de tamaño comparable

• RAG de alto riesgo — contexto largo más una traza de razonamiento que puedes inspeccionar

• pesos abiertos bajo jurisdicción de EE. UU. — el modelo de pesos abiertos desarrollado en EE. UU. más potente del verano, donde eso importa para las adquisiciones

---

Solución de problemas

Problema	Solución
NVFP4 no se carga	El rig no es Blackwell — usa GGUF o una compilación FP8
nemotron_h arquitectura desconocida	Actualiza vLLM/SGLang/llama.cpp; las capas híbridas Mamba necesitan soporte reciente
Trazas de razonamiento en cada respuesta	Desactiva la bandera de razonamiento en la plantilla de chat para llamadas de baja latencia
Rendimiento inferior al esperado	Habilita la decodificación especulativa basada en MTP; el modelo incluye capas MTP
OOM en 8× 5090 en Q3	Q3_K_M son 274GB — necesitas más de 310GB de VRAM

---

Siguientes pasos

• Hermano menor: Nemotron 3 Super — 120B MoE, cabe en rigs mucho más pequeños

• Misma categoría de tamaño: GLM-5.2 · MiniMax M3 · DeepSeek V4

• Alternativa de una sola tarjeta: Qwen3.8-27B

• Servir: TensorRT-LLM · vLLM

Enlaces

• Nemotron 3 Ultra BF16 · NVFP4 · GGUF

• licencia OpenMDW-1.1

• Alquila una GPU: RTX 5090 · Marketplace