> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/mistral-large3.md).

# Mistral Large 3（675B MoE）

在 Clore.ai GPU 上运行 Mistral Large 3——一款拥有 410 亿活跃参数的 675B MoE 前沿模型

Mistral Large 3 是 Mistral AI 最强大的开放权重模型，于 2025 年 12 月发布，依据 **Apache 2.0 许可证**。它是一个专家混合（MoE）模型，拥有 675B 总参数，但每个 token 仅激活 41B —— 以远低于稠密 675B 模型的计算量，提供前沿级性能。凭借原生多模态支持（文本 + 图像）、256K 上下文窗口，以及一流的智能体能力，它可直接与 GPT-4o 和 Claude 级模型竞争，同时又能完全由你自行托管。

**HuggingFace：** [mistralai/Mistral-Large-3-675B-Instruct-2512](https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512) **Ollama：** [mistral-large-3:675b](https://ollama.com/library/mistral-large-3) **许可证：** Apache 2.0

## 主要特性

* **675B 总参数 / 41B 激活参数** — MoE 的高效性意味着你无需激活每个参数就能获得前沿性能
* **Apache 2.0 许可证** — 可完全用于商业和个人用途，无任何限制
* **原生多模态** — 通过 2.5B 视觉编码器同时理解文本和图像
* **256K 上下文窗口** — 处理海量文档、代码库和长对话
* **一流的智能体能力** — 原生函数调用、JSON 模式、工具使用
* **多种部署选项** — 在 H200/B200 上使用 FP8，在 H100/A100 上使用 NVFP4，为消费级 GPU 提供 GGUF 量化版本

## 模型架构

| 组件    | 详情              |
| ----- | --------------- |
| 架构    | 细粒度专家混合（MoE）    |
| 总参数   | 675B            |
| 激活参数  | 41B（每个 token）   |
| 视觉编码器 | 2.5B 参数         |
| 上下文窗口 | 256K 词元         |
| 训练    | 3,000× H200 GPU |
| 发布    | 2025 年 12 月     |

## 需求

{% hint style="warning" %}
**Clore.ai 市场上未列出多 GPU 的 80GB 级机型。** 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 [裸机](https://clore.ai/bare-metal) 需求提供。部署前请查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。
{% endhint %}

| 配置   | 经济版（Q4 GGUF） | 标准版（NVFP4）    | 完整版（FP8）      |
| ---- | ------------ | ------------- | ------------- |
| GPU  | 4× RTX 4090  | 8× A100 80GB  | 8× H100/H200  |
| 显存   | 4×24GB（96GB） | 8×80GB（640GB） | 8×80GB（640GB） |
| 内存   | 128GB        | 256GB         | 256GB         |
| 磁盘   | 400GB        | 700GB         | 1.4TB         |
| CUDA | 12.8+        | 12.8+         | 12.8+         |

**推荐的 Clore.ai 配置：**

* **最佳性价比：** 4× RTX 4090（$0.56–1.68/小时）— 通过 llama.cpp 或 Ollama 运行 Q4 GGUF 量化版本
* **生产级质量：** 8× A100 80GB（[裸机](https://clore.ai/bare-metal)）— 通过 vLLM 使用完整上下文的 NVFP4
* **最高性能：** 8× H100（约 $8.32/小时）— FP8，完整 256K 上下文

## 使用 Ollama 快速开始

在多 GPU 的 Clore.ai 实例上运行 Mistral Large 3 的最快方式：

```bash
# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 运行 675B 模型（需要多 GPU，Q4 约需 96GB+ VRAM）
ollama run mistral-large-3:675b

# 对于较小的稠密变体（单 GPU）：
ollama run mistral3:14b    # 14B 稠密版 — 可在 RTX 3060+ 上运行
ollama run mistral3:8b     # 8B 稠密版 — 可在任何 GPU 上运行
```

## vLLM 快速上手（生产环境）

用于具备生产级能力、兼容 OpenAI 的 API 服务：

```bash
# 安装 vLLM
pip install vllm

# 在 8× A100/H100 上使用 NVFP4 量化进行服务
vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4 \\
    --tensor-parallel-size 8 \\
    --tokenizer-mode mistral \\
    --config-format mistral \\
    --load-format mistral \\
    --max-model-len 65536 \\
    --gpu-memory-utilization 0.90 \\
    --enable-auto-tool-choice \\
    --tool-call-parser mistral \\
    --host 0.0.0.0 \\
    --port 8000

# 对于 FP8（原始权重，最高质量）：
vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512 \\
    --tensor-parallel-size 8 \\
    --tokenizer-mode mistral \\
    --config-format mistral \\
    --load-format mistral \\
    --max-model-len 131072 \\
    --host 0.0.0.0 \\
    --port 8000
```

## 使用示例

### 1. 对话补全（兼容 OpenAI 的 API）

vLLM 运行后，使用任意兼容 OpenAI 的客户端：

```python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[
        {"role": "system", "content": "你是一个乐于助人的代码助手。"},
        {"role": "user", "content": "请使用 aiohttp 和 BeautifulSoup 编写一个 Python 异步网页爬虫。"}
    ],
    temperature=0.1,
    max_tokens=4096
)

print(response.choices[0].message.content)
```

### 2. 函数调用 / 工具使用

Mistral Large 3 在结构化工具调用方面表现出色：

```python
import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="n/a")

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "获取某个地点的当前天气",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {"type": "string", "description": "城市名称"},
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]}
                },
                "required": ["location"]
            }
        }
    }
]

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[{"role": "user", "content": "东京现在的天气怎么样？"}],
    tools=tools,
    tool_choice="auto"
)

tool_call = response.choices[0].message.tool_calls[0]
print(f"Function: {tool_call.function.name}")
print(f"Args: {tool_call.function.arguments}")
```

### 3. 视觉 — 图像分析

Mistral Large 3 原生理解图像：

```python
import base64
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="n/a")

# 对图像进行编码
with open("diagram.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "详细描述这张架构图。"},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_b64}"}}
        ]
    }],
    max_tokens=2048
)

print(response.choices[0].message.content)
```

## 给 Clore.ai 用户的建议

1. **从 A100 上的 NVFP4 开始** — 该 `Mistral-Large-3-675B-Instruct-2512-NVFP4` 该 checkpoint 专为 A100/H100 节点设计，以仅为 FP8 一半的内存占用提供近乎无损的质量。
2. **使用 Ollama 进行快速试验** — 如果你有 4× RTX 4090 实例，Ollama 会自动处理 GGUF 量化。非常适合在决定采用 vLLM 生产部署前进行测试。
3. **安全地公开 API** — 在 Clore.ai 实例上运行 vLLM 时，使用 SSH 隧道（`ssh -L 8000:localhost:8000 root@<ip>`）而不是直接暴露 8000 端口。
4. **将 `max-model-len` 以节省 VRAM** — 如果你不需要完整的 256K 上下文，请设置 `--max-model-len 32768` 或 `65536` ，以显著减少 KV 缓存内存占用。
5. **考虑稠密替代方案** — 对于单 GPU 配置，Mistral 3 14B（`mistral3:14b` 在 Ollama 中）在单张 RTX 4090 上可提供出色性能，并且来自同一模型家族。

## 故障排查

| 问题                          | 解决方案                                                                                              |
| --------------------------- | ------------------------------------------------------------------------------------------------- |
| `CUDA 内存不足` 在 vLLM 上        | 减少 `--max-model-len` （可尝试 32768），提高 `--tensor-parallel-size`，或者使用 NVFP4 checkpoint                |
| 生成速度慢                       | 确保 `--tensor-parallel-size` 与您的 GPU 数量匹配；使用 Eagle checkpoint 启用推测解码                               |
| Ollama 无法加载 675B            | 确保所有 GPU 合计拥有 96GB+ VRAM；Ollama 需要 `OLLAMA_NUM_PARALLEL=1` 用于大模型                                  |
| `tokenizer_mode mistral` 错误 | 你必须传入所有三个标志： `--tokenizer-mode mistral --config-format mistral --load-format mistral`             |
| 视觉功能不工作                     | 确保图像的宽高比接近 1:1；为获得最佳效果，避免过宽或过窄的图像                                                                 |
| 下载太慢                        | 使用 `huggingface-cli download mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4` 使用 `HF_TOKEN` 设置 |

## 延伸阅读

* [Mistral 3 公告博客](https://mistral.ai/news/mistral-3) — 带有基准测试的官方发布文章
* [HuggingFace 模型卡](https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512) — 部署说明和基准测试结果
* [NVFP4 量化版本](https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4) — 针对 A100/H100 优化
* [GGUF 量化版（Unsloth）](https://huggingface.co/unsloth/Mistral-Large-3-675B-Instruct-2512-GGUF) — 适用于 llama.cpp 和 Ollama
* [vLLM 文档](https://docs.vllm.ai/) — 生产级服务框架
* [Red Hat Day-0 指南](https://developers.redhat.com/articles/2025/12/02/run-mistral-large-3-ministral-3-vllm-red-hat-ai) — vLLM 分步部署


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/mistral-large3.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.