> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/mistral-medium35.md). # Mistral Medium 3.5（128B 稠密，256K） {% hint style="info" %} **状态（2026年4月）：** Mistral Medium 3.5 发布于 **2026年4月29日** 由 Mistral AI 发布，作为 Mistral Medium 3 的继任者。权重文件可在 [huggingface.co/mistralai/Mistral-Medium-3.5](https://huggingface.co/mistralai/Mistral-Medium-3.5) 在以下许可证下发布： **Mistral Research License (MRL)** 用于研究； **Mistral Commercial License** 超出评估范围的生产使用需要。vLLM（≥ 0.8.x）和 SGLang 自发布首日起即提供支持。 {% endhint %} Mistral Medium 3.5 是一个 **128B 稠密 Transformer** ，配备 **256K token 上下文窗口** 和一个 **原生推理开关** ，可在同一检查点中在快速“instant”回复与更长的思维链“deep”轨迹之间切换。此次发布将此前分开的三条 Mistral 线路整合为—— **Medium 3** （通用指令）， **Codestral** （代码），以及 Mistral 的推理预览——合并为一个可切换模型；这对于一直在多个权重之间周旋的工程团队来说，是这次更新的核心变化。 对于 Clore.ai 用户来说，实际意义在于规格配置。一个 FP8 的 128B 稠密模型大约占用 **128 GB** 的 KV cache 之前，因此它 **不** 在满精度下无法装进单张 80 GB GPU——你需要 **4× H100 80 GB** (FP8) 或 **2× H200 141 GB** ，才能通过 vLLM 顺畅提供服务。在市场上，这大致相当于 [**裸机**](https://clore.ai/bare-metal) （4× H100 配置）或 **约 $4.16/小时** （2× H200），这对大多数团队来说都是最合适的区间。单张 H100 部署只有在使用激进的 Q4 GGUF 量化时才可行（通过 llama.cpp 约 70 tok/s），而 256K 上下文在压缩时最先消失。 ## 主要特性 * **128B 稠密参数** ——没有 MoE 路由技巧，显存和延迟特征可预测，比稀疏模型更容易微调 * **256K 上下文窗口** ——全代码库分析、长文档 RAG、无截断的多轮 agent 循环 * **双模式推理** ——切换 `reasoning_mode=instant` 用于约聊天级延迟，或 `reasoning_mode=deep` 以展示一个 `` 答案前的轨迹 * **统一的指令 + 代码 + 推理** ——一套权重取代 Medium 3 + Codestral + 推理预览 * **函数调用与结构化输出** ——原生 JSON Schema 约束，兼容 OpenAI 的工具调用格式 * **开源权重** ——用于研究的 MRL，另有商业许可证可用；权重留在你自己的机器上，绝不会回传到供应商 API * **首日即支持 vLLM 和 SGLang** ——可用于生产的 FP8 路径、张量并行、分块预填充、连续批处理 ## 推理模式 Medium 3.5 是首个以单一检查点同时提供“快速”和“思考”答案的 Mistral 模型。该开关在请求时控制，而不是在加载时控制，因此一个 vLLM 进程就能为同一调用方处理两种模式。 | 模式 | 何时使用 | 典型 TTFT | 输出形式 | | -------------- | ----------------------------- | -------------------- | -------------------------------- | | `instant` (默认) | 聊天、自动补全、分类、函数调用，且延迟很重要 | 50–250 毫秒 | 仅输出答案 | | `deep` | 代码审查、多步骤规划、数学、棘手调试、agent 规划步骤 | 1–6 秒后才出现第一个答案 token | `...` 轨迹，然后给出最终答案 | 在 `deep` 模式下，模型会在可见回复之前输出一段隐藏的推理片段（由 `...` 聊天模板包裹）。这会为每轮对话额外消耗几百到几千个 token，所以 **不要对每个请求都启用它** ——只在你原本会提示更小模型“逐步思考”时使用它。一个合理的做法是默认保持 `instant` 为默认值，只在 `deep` 用于工具调用规划步骤或最终答案综合时才升级到。 {% hint style="warning" %} **供应商建议的采样设置。** Mistral 建议 `temperature=0.15` 用于 `instant` 以及 `temperature=0.7` 使用 `top_p=0.95` 用于 `deep` 模式。零温度采样往往会过早截断推理轨迹。 {% endhint %} ## 选择你的部署 Clore.ai 市场上的三种现实配置。先按显存预算选择，再看吞吐量。 | 配置 | 精度 | 总显存 | 上下文（实际） | 吞吐量 | 推荐的 Clore 规格 | 备注 | | ------------------------------------------------------------------------------------------------------------------- | ------------------ | ------ | ------- | -------------- | ----------------- | ----------------------------- | | 1× H100 80 GB | Q4 GGUF（llama.cpp） | 80 GB | 32K–64K | \~50–70 tok/s | 单 GPU，评估/开发 | 激进量化；长代码质量会有所损失 | | 4× [H100](https://clore.ai/rent-h100.html?utm_source=docs\&utm_medium=guide\&utm_campaign=mistral-medium-35) 80 GB | FP8（vLLM） | 320 GB | 完整 256K | \~80–140 tok/s | **生产最佳点** | TP=4，持续流量下 tok/$ 最优 | | 2× [H200](https://clore.ai/rent-h200.html?utm_source=docs\&utm_medium=guide\&utm_campaign=mistral-medium-35) 141 GB | FP8 或 BF16 | 282 GB | 完整 256K | \~90–130 tok/s | 高上下文、需要管理的 GPU 更少 | 拓扑更简单，在 256K 下 KV cache 余量更充足 | {% hint style="success" %} **默认选择：** **4× H100 80 GB FP8** 通过 vLLM。你可以获得完整 256K 上下文、约 100 tok/s 的持续吞吐、兼容 OpenAI 的 API，以及干净的张量并行扩展——成本大致相当于一名高强度使用的 Claude Opus 用户席位的日费用。 {% endhint %} ## 服务器要求 {% hint style="warning" %} **Clore.ai 市场上未列出多 GPU 的 80GB 级机型。** 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 [裸机](https://clore.ai/bare-metal) 需求提供。部署前请查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。 {% endhint %} | 组件 | 最低配置（单 GPU Q4） | 推荐（FP8，4× H100） | 高上下文（2× H200） | | -------- | ----------------- | ------------------ | ------------------ | | GPU 显存 | 80 GB（1× H100） | 4× 80 GB = 320 GB | 2× 141 GB = 282 GB | | 系统内存 | 128 GB | 256 GB | 256 GB | | 磁盘（NVMe） | 200 GB | 400 GB | 400 GB | | 网络 | 用于 HF 下载的 1 Gbps+ | 1 Gbps+ | 1 Gbps+ | | CUDA | 12.8+ | 12.8+ | 12.8+ | | 驱动 | ≥ 555 | ≥ 555 | ≥ 555 | | 启动时间 | 3–6 分钟（冷拉取） | 6–12 分钟（冷拉取，4 个分片） | 5–10 分钟 | 首次冷启动主要受 HuggingFace 下载时间支配——FP8 权重大约 **128 GB**，BF16 更接近 **256 GB**。在 `/root/.cache/huggingface` 上挂载持久卷，这样每台服务器只需承担一次这部分带宽成本。 ## 在 CLORE.AI 上快速部署 最快的路径是官方 `vllm/vllm-openai` 镜像，并将张量并行设置为你的 GPU 数量。下面的示例假设是一台 4× H100 实例。 **Docker 镜像：** ``` vllm/vllm-openai:latest ``` **端口：** ``` 22/tcp 8000/http ``` **启动命令（4× H100，FP8）：** ```bash vllm serve mistralai/Mistral-Medium-3.5-FP8 \\ --tensor-parallel-size 4 \\ --max-model-len 65536 \\ --gpu-memory-utilization 0.90 \\ --enable-chunked-prefill \\ --enable-auto-tool-choice \\ --tool-call-parser mistral \\ --reasoning-parser mistral \\ --tokenizer-mode mistral \\ --config-format mistral \\ --load-format mistral \\ --served-model-name mistral-medium-3.5 \\ --host 0.0.0.0 \\ --port 8000 ``` **替代方案——2× H200 BF16：** ```bash vllm serve mistralai/Mistral-Medium-3.5 \\ --tensor-parallel-size 2 \\ --max-model-len 131072 \\ --gpu-memory-utilization 0.92 \\ --enable-chunked-prefill \\ --enable-auto-tool-choice \\ --tool-call-parser mistral \\ --reasoning-parser mistral \\ --tokenizer-mode mistral \\ --config-format mistral \\ --load-format mistral \\ --served-model-name mistral-medium-3.5 \\ --host 0.0.0.0 \\ --port 8000 ``` {% hint style="info" %} 从 `--max-model-len 65536` 开始，即使硬件本可以装得更多也是如此。KV cache 内存会随上下文线性增长，而大多数工作负载根本达不到 256K。等你确认请求分布后，再提高它。 {% endhint %} **SGLang 替代方案** （在 Hopper 上进行长预填充时通常更快）： ```bash python3 -m sglang.launch_server \\ --model-path mistralai/Mistral-Medium-3.5-FP8 \\ --tp-size 4 \\ --tool-call-parser mistral \\ --reasoning-parser mistral \\ --mem-fraction-static 0.88 \\ --context-length 65536 \\ --served-model-name mistral-medium-3.5 \\ --host 0.0.0.0 \\ --port 8000 ``` ## 使用示例 部署后，找到你的 `http_pub` URL 在 **我的订单** 在 Clore.ai 上（例如 `abc123.clorecloud.net`）。 将下面示例中的 `localhost:8000` 使用 `https://YOUR_HTTP_PUB_URL` 替换为在服务器外部调用时使用的地址。 ### 1. 聊天——即时模式（默认） 低延迟回复，没有可见推理轨迹。适合聊天界面、自动补全、分类。 ```bash curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "mistral-medium-3.5", "messages": [ {"role": "system", "content": "你是一名资深后端工程师。"}, {"role": "user", "content": "编写一个 Go HTTP 中间件，使用令牌桶按 API key 限流。"} ], "temperature": 0.15, "max_tokens": 1024, "extra_body": {"reasoning_mode": "instant"} }' ``` ### 2. 聊天——深度模式（推理开关） 启用 `` 在最终答案前的轨迹。用于棘手调试、规划、数学。 ```bash curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "mistral-medium-3.5", "messages": [ {"role": "user", "content": "用户报告说，我们的支付 webhook 在 1% 的订单上会触发两次。按概率从高到低梳理最可能的根因，并提出一个诊断计划。"} ], "temperature": 0.7, "top_p": 0.95, "max_tokens": 4096, "extra_body": {"reasoning_mode": "deep"} }' ``` 响应将包含一个 `reasoning_content` 字段（vLLM 会把 `...` 片段从可见消息中解析出来），以及 `content`。根据你的产品选择删除或展示这段轨迹。 ### 3. Python——兼容 OpenAI 的客户端 ```python from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", api_key="not-needed" ) # 即时模式——聊天 response = client.chat.completions.create( model="mistral-medium-3.5", messages=[ {"role": "system", "content": "你是一个乐于助人的代码助手。"}, {"role": "user", "content": "重构这个 Python 函数以提升可读性。"} ], temperature=0.15, max_tokens=1024, extra_body={"reasoning_mode": "instant"} ) print(response.choices[0].message.content) # 深度模式——规划步骤 plan = client.chat.completions.create( model="mistral-medium-3.5", messages=[ {"role": "user", "content": "为一个 2TB 订单表制定从 MongoDB 迁移到 PostgreSQL 且零停机的方案。"} ], temperature=0.7, max_tokens=4096, extra_body={"reasoning_mode": "deep"} ) msg = plan.choices[0].message print("思考中:\n", getattr(msg, "reasoning_content", "")) print("\n答案:\n", msg.content) ``` ### 4. 结构化输出——JSON Schema Medium 3.5 支持通过 vLLM 的 `response_format`进行 JSON Schema 引导式解码。适用于下游消费者是解析器而不是人类的场景。 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="x") schema = { "type": "object", "properties": { "severity": {"type": "string", "enum": ["low", "medium", "high", "critical"]}, "categories": { "type": "array", "items": {"type": "string", "enum": ["auth", "payments", "db", "ui", "infra"]} }, "summary": {"type": "string", "maxLength": 240}, "next_action": {"type": "string"} }, "required": ["severity", "categories", "summary", "next_action"], "additionalProperties": False } response = client.chat.completions.create( model="mistral-medium-3.5", messages=[ {"role": "system", "content": "对传入的 bug 报告进行分类。仅返回严格 JSON。"}, {"role": "user", "content": "对邮箱中包含撇号的用户，登录失败，并从 /webapi/login 返回 500。"} ], temperature=0.0, response_format={ "type": "json_schema", "json_schema": {"name": "triage", "schema": schema, "strict": True} }, extra_body={"reasoning_mode": "instant"} ) import json print(json.loads(response.choices[0].message.content)) ``` ### 5. 函数调用 ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="x") tools = [{ "type": "function", "function": { "name": "search_orders", "description": "按用户 ID 和可选日期范围搜索订单数据库", "parameters": { "type": "object", "properties": { "user_id": {"type": "string"}, "start_date": {"type": "string", "format": "date"}, "end_date": {"type": "string", "format": "date"} }, "required": ["user_id"] } } }] response = client.chat.completions.create( model="mistral-medium-3.5", messages=[{"role": "user", "content": "查找用户 u_4821 在 2026 年 4 月的所有订单。"}], tools=tools, tool_choice="auto", temperature=0.1 ) for call in response.choices[0].message.tool_calls or []: print(call.function.name, call.function.arguments) ``` ## 性能提示 1. **在 Hopper 上优先使用 FP8 检查点。** `Mistral-Medium-3.5-FP8` 是供应商提供的 FP8 构建版本，在 Hopper 级硬件上质量损失几乎可以忽略不计的情况下，大约比 BF16 轻 2 倍。它是 4× H100 和 2× H200 的正确默认选择。 2. **张量并行 = GPU 数量。** 对于 4× H100，使用 `--tensor-parallel-size 4`；对于 2× H200，使用 `--tensor-parallel-size 2`。单节点上的流水线并行通常会拖累 128B 稠密模型的吞吐量。 3. **将 `max-model-len` 限制为你实际使用的值。** 256K 下的 KV cache 极其庞大——一个满上下文序列就能吃掉 30–50 GB。将 `--max-model-len 65536` （或 32768）设置为默认值，除非你确实需要更大，并且只在完成性能分析后再提高。 4. **启用分块预填充。** `--enable-chunked-prefill` 在大提示词仍在处理时保持解码 token 持续输出。对于 100K+ 的提示词，这就是“响应迅速”与“已超时”之间的区别。 5. **缓存权重。** 在 `/root/.cache/huggingface` 上挂载一个 Docker 卷并在重启间复用。每次冷启动都重新下载 128 GB，是“vLLM 启动似乎很慢”的最常见原因。 6. **用于边际余量的 KV cache 量化。** 在 4× H100 上，你可以通过 `--kv-cache-dtype fp8`挤出更多并发会话。供应商报告称质量几乎无损；在生产前切换时请先在你的评估集上验证。 7. **不要使用 `deep` 模式用于每一个请求。** 推理轨迹会消耗真实 token 和真实延迟。按任务类型路由：分类、自动补全和工具参数生成保持在 `instant`；规划和验证步骤升级到 `deep`. 8. **。** 投机解码有帮助。 ## 基准 {% hint style="warning" %} **供应商公布的数字——请独立验证。** 下表来自 Mistral AI 2026 年 4 月 29 日的公告。独立第三方复现（LMSys、EQ-Bench、SWE-Bench 排行榜）仍在陆续出现。请将其视为方向性参考，而非权威结论。 {% endhint %} | 基准 | Mistral Medium 3.5（供应商） | 参考点（供应商引用） | | ------------------------- | ----------------------- | ------------------------------------ | | MMLU-Pro | \~78% | Llama 4 Maverick \~76%，GPT-5.4 \~81% | | HumanEval | \~92% | Codestral 25.01 \~88%，GLM-5.1 \~94% | | LiveCodeBench（2026 年 4 月） | \~68% | GLM-5.1 \~72%，Llama 4 Maverick \~64% | | AIME 2025（深度模式） | \~62% | GPT-5.4 \~73%，GLM-5.1 \~58% | | GPQA Diamond（深度模式） | \~59% | Claude Opus 4.6 \~63%，GLM-5.1 \~57% | | 长上下文召回（128K） | \~95% | Llama 4 Maverick \~93% | Mistral 目标定位： **大致处于 Llama 4 Maverick / GLM-5.1 这一档的通用任务表现，更窄的代码能力差距，以及独特的推理开关**。它并未被定位为 GPT-5.4 / Claude Opus 4.6 的挑战者。 ## 故障排查 | 问题 | 解决方案 | | ---------------------------- | ------------------------------------------------------------------------------------------- | | `CUDA 内存不足` 加载时（4× H100） | 你大概是误加载了 BF16。使用 FP8 检查点（`Mistral-Medium-3.5-FP8`） 或降至 `--max-model-len 32768`. | | `CUDA 内存不足` 在 256K 上下文下请求过程中 | KV cache 爆了。降低 `--max-model-len`，启用 `--kv-cache-dtype fp8`，或限制 `--max-num-seqs` （尝试 8）。 | | 深度模式生成空的 `reasoning_content` | 确认 `--reasoning-parser mistral` 已在 vLLM 中设置，并且 `temperature ≥ 0.5`。零温度采样会截断轨迹。 | | 深度模式下首 token 时间过长 | 这是预期行为——深度模式会先输出一个 `` 片段，然后才有任何可见输出。向客户端流式传输时使用 `stream=true` 并展示“思考中……”的 UI 状态。 | | `403 禁止访问` 来自 HuggingFace 下载 | Mistral Medium 3.5 是 **受限的**。请在模型卡上接受 MRL，并在 `HF_TOKEN` 中设置 | | `tokenizer_mode mistral` 错误 | 这三个标志必须一起设置： `--tokenizer-mode mistral --config-format mistral --load-format mistral`. | | 工具调用被静默丢弃 | 同时设置 `--enable-auto-tool-choice` 以及 `--tool-call-parser mistral`。没有解析器时，vLLM 会把工具参数作为纯文本返回。 | | 吞吐量在约 32 个并发会话后骤降 | 你遇到了 KV-cache 驱逐。降低 `--max-model-len`，提高 `--gpu-memory-utilization` 到 0.92，或扩展到第二个副本。 | | 许可证错误阻止商业使用 | MRL 仅限研究用途。在向付费用户提供服务之前，请联系 Mistral 销售获取商业许可证。 | ## 常见问题 **问：Mistral Medium 3.5 vs Llama 4 Maverick——我该选哪个？** 两者的权重级别相近（Maverick 是 17B 激活 MoE，总参数 400B；Medium 3.5 是 128B 稠密模型）。选择 **Medium 3.5** 如果你想要可预测的显存/延迟、单检查点里的双模式推理开关，以及更强的代码表现。选择 **Llama 4 Maverick** 如果你需要宽松许可证以便无条件商业使用（Llama 4 采用社区许可证，Medium 3.5 在生产中需要 Mistral 商业许可证），或者如果你想要 MoE 在单次请求层面带来的更低每 token 推理成本。 **问：如何启用推理模式？** 传入 `extra_body={"reasoning_mode": "deep"}` 在 OpenAI Python 客户端中，或者包含 `"reasoning_mode": "deep"` 位于你的 HTTP JSON 正文的顶层。默认值是 `"instant"`。在服务器端，请确保 vLLM 是以以下参数启动的 `--reasoning-parser mistral` 这样 `` span 会被解析到 `reasoning_content` 字段，而不会泄漏到 `content`. **问：为什么是 4× H100 而不是 2× H100？** FP8 权重在 KV cache 之前约为 128 GB。2× H100 80 GB 总共给你 160 GB——足以加载权重，但几乎没有给 KV cache、激活值，甚至中等上下文窗口留下余量。实际上，2× H100 在超过 8K 上下文后会立刻显存溢出。 **4× H100 是可用的、支持 256K 部署的最低配置**；如果你更愿意管理更少的 GPU、并接受略高的单卡成本，2× H200（282 GB）是替代方案。 **问：我可以将 Mistral Medium 3.5 用于商业用途吗？** 默认的 Mistral Research License（MRL）允许研究和内部评估，但 **不** 商业生产。面向付费客户的部署需要 **Mistral Commercial License** ——请联系 Mistral 销售。这与之前适用于 Medium 3 和 Codestral 的限制相同。如果商业友好的许可是硬性要求，可以看看 [Mistral Small 3.1](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-small.md) （Apache 2.0）或 [Llama 4](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md) （Llama 社区许可证）。 **问：Medium 3.5 支持视觉或音频吗？** 不支持。Medium 3.5 仅支持文本。对于多模态的 Mistral，请使用 [Mistral Large 3](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-large3.md)，它附带一个 25 亿参数的视觉编码器。对于 Clore.ai 上的其他多模态选项，请查看 Qwen3.5-Omni 或 Gemma 3。 ## 相关指南 * [Mistral Large 3](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-large3.md) — 675B MoE 多模态前沿模型，Apache 2.0，当你需要视觉能力和最高质量时 * [Mistral 与 Mixtral](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-mixtral.md) — 较旧的 Mistral 7B 和 Mixtral 8x7B/8x22B，适用于单 GPU 部署 * [vLLM](/guides/guides_v2-zh/yu-yan-mo-xing/vllm.md) — 生产级服务框架，Medium 3.5 推荐的后端 * [Llama 4](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md) — 在这个规模上最接近的开放权重同类，宽松许可的替代方案 ### 外部链接 * [HuggingFace 上的 Mistral Medium 3.5](https://huggingface.co/mistralai/Mistral-Medium-3.5) * [Mistral Medium 3.5 FP8 检查点](https://huggingface.co/mistralai/Mistral-Medium-3.5-FP8) * [Mistral AI 公告（2026 年 4 月 29 日）](https://mistral.ai/news/mistral-medium-3-5) * [Mistral 研究许可证](https://mistral.ai/licenses/MRL-0.1.md) * [vLLM 文档](https://docs.vllm.ai) * [SGLang 仓库](https://github.com/sgl-project/sglang) * [Clore.ai 市场](https://clore.ai/marketplace) — 从以下平台租用 H100 / H200 [裸机](https://clore.ai/bare-metal) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/mistral-medium35.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.