Mistral Small 4（119B MoE，6.5B 活跃）

在 Clore.ai 市场上的两块消费级 GPU 上部署 Mistral Small 4（119B MoE，6.5B 活跃）——Apache 2.0 许可、256K 上下文、视觉与推理合一的模型

状态（2026年8月）： Mistral 发布 Small 4 于 2026年3月16日 采用 Apache 2.0。权重： mistralai/Mistral-Small-4-119B-2603. 总参数119B，仅6.5B激活 （128个专家，每个 token 激活4个）， 256K 上下文，原生 视觉，以及按请求切换推理的开关。它将 Mistral 之前的三条路线——Instruct、Magistral 推理和 Devstral 编码——合并为一个检查点。

“Small” 以参数规模来说名不副实，但按成本来说又恰如其分。只有 每个 token 激活 6.5B 参数，因此解码速度感觉像 7B 模型，而质量则来自 119B 的参数池。量化到 Q2 后，它是 40GB ——两张 RTX 4090；Clore.ai 市场上为此有 322 台服务器规模的空闲容量。到 Q3–Q4 时为 54–59GB，适合两张 RTX 5090。

如果你想要一个开放模型：简单提示能立即回答、需要时会更认真思考、还能读图并写代码，那么它目前是你能够按分钟租用的硬件的最佳选择。

关键规格

属性	数值
参数	总计119B，激活6.5B（128个专家，4个激活）
模态	文本 + 图像输入 → 文本输出
上下文	262,144 个 token（256K）
许可证	Apache 2.0
发布日期	2026年3月16日
权重	官方约242GB · Q3_K_M GGUF 54GB · Q2_K_XL GGUF 40GB
推理	reasoning_effort: none （即时）或 高 （测试时计算）
主要工具链	vLLM、llama.cpp、Transformers

---

需求

构建	大小	Clore.ai 配置
UD-IQ1_M	32GB	1× RTX PRO 6000 96GB，或 2× RTX 4090
UD-Q2_K_XL	40GB	2× RTX 4090 / 3090（48GB） — 在 ≥48GB 条件下有 322 台服务器空闲
UD-Q3_K_M	54GB	2× RTX 5090（64GB）
UD-IQ4_NL	59GB	2× RTX 5090（64GB）
官方检查点	约242GB	8× RTX 5090（248GB）

为 KV 缓存预留余量：在 256K 上下文下，即使是这么稀疏的 MoE 也会占用不少。先从 32–64K 开始，等看到实际使用情况后再提高。

---

使用 llama.cpp 部署（两张消费级显卡）

huggingface-cli download unsloth/Mistral-Small-4-119B-2603-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/ms4

llama-server -m /workspace/ms4/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer \\
  -c 65536 --flash-attn

使用 vLLM 部署

vllm serve mistralai/Mistral-Small-4-119B-2603 \\
  --tensor-parallel-size 8 \\
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --max-model-len 262144 \\
  --enable-expert-parallel

官方 NVFP4 构建（mistralai/Mistral-Small-4-119B-2603-NVFP4）面向 Blackwell 显卡——在 RTX 50 系列和 RTX PRO 6000 设备上很有用。

按需推理

client.chat.completions.create(
    model="mistral-small-4",
    messages=[{"role": "user", "content": "找出这个调度器中的死锁。"}],
    extra_body={"reasoning_effort": "high"},   # "none" 表示即时回复
    temperature=0.7,                            # 关闭推理时为 0.0–0.7
)

Mistral 建议在开启推理时将 temperature 设为 0.7。关闭推理时，根据你对输出确定性的要求，将其保持在 0.0 到 0.7 之间。

---

Clore.ai GPU 推荐

配置	显存	构建	上下文	Clore.ai 成本
2× RTX 4090	48GB	Q2_K_XL	~64K	$0.28–0.84/小时
2× RTX 3090	48GB	Q2_K_XL	~64K	$0.14–0.42/小时
2× RTX 5090	64GB	Q3_K_M / IQ4_NL	~96K	$0.50–1.54/小时
1× RTX PRO 6000	96GB	Q3_K_M，单卡	~131K	$0.92–1.38/小时
8× RTX 5090	248GB	官方检查点	完整 256K	约$2.00–3.50/小时

一对 RTX 3090 是性价比之选 ——约 $0.14–0.42/小时总价，提供 48GB VRAM，运行一个 119B 模型。使用 部分 GPU 租用 从更大的机架中取出两张卡，而不是去找专门的双 3090 机器。

---

应用场景

• 一个模型覆盖整个产品 ——聊天、编码和推理，无需三套部署

• 文档和图像提取 ——视觉能力加上 256K 上下文，可处理超长扫描文档

• 预算有限的编码代理 ——继承自 Devstral 体系，每个 token 仅 6.5B 激活参数

• 按延迟分层服务 — reasoning_effort: none 用于快速路径， 高 用于困难路径，同一端点

• 商业产品 ——Apache 2.0，无收入条款，无地区限制

---

故障排查

问题	修复
vLLM 分词器错误	Mistral 模型需要 --tokenizer-mode mistral --config-format mistral --load-format mistral
256K 时 OOM	是 KV 缓存，不是权重——降低 --max-model-len
推理从不触发	reasoning_effort 是按请求设置的；检查你的客户端是否传递了 extra_body
两卡上的首个 token 很慢	通过 PCIe 跨卡分层拆分 GGUF 会增加延迟；优先选择带 x8/x16 连接的机器
NVFP4 构建无法加载	需要 Blackwell——见 CUDA 与 PyTorch 兼容性

---

下一步

• 较小的兄弟模型： Mistral Small 3.1 ——24B 稠密模型，单卡

• 更大的兄弟模型： Mistral Large 3 ——675B MoE

• 稠密替代方案： Qwen3.8-27B ——27B，单卡，Apache 2.0

• 微调它： Unsloth · LLaMA-Factory

链接

• Hugging Face 上的 Mistral Small 4 · GGUF

• Mistral 公告

• 租用 GPU： RTX 4090 · RTX 5090 · 市场