Mistral Small 3.1

在 Clore.ai 上部署 Mistral Small 3.1（24B）——理想的单 GPU 生产级模型

Mistral Small 3.1，由 Mistral AI 于 2025 年 3 月发布，是一款 240 亿参数的稠密模型 其性能远超同级。拥有 128K 上下文窗口、原生视觉能力、一流的函数调用能力，以及 Apache 2.0 许可证，它可以说是你能在单张 RTX 4090 上运行的最佳模型。在大多数基准测试中，它的表现优于 GPT-4o Mini 和 Claude 3.5 Haiku，而且量化后在消费级硬件上也能轻松运行。

主要特性

• 240亿稠密参数 —— 无 MoE 复杂性，部署直接

• 128K 上下文窗口 —— RULER 128K 得分 81.2%，优于 GPT-4o Mini（65.8%）

• 原生视觉 —— 分析图像、图表、文档和截图

• Apache 2.0 许可证 —— 可完全开放用于商业和个人用途

• 顶级函数调用 —— 使用 JSON 输出进行原生工具调用，非常适合智能体工作流

• 多语言 —— 支持 25+ 种语言，包括中日韩文字、阿拉伯语、印地语和欧洲语言

需求

组件	量化版（Q4）	全精度（BF16）
GPU	1× RTX 4090 24GB	2× RTX 4090 或 1× H100
显存	~16GB	~55GB
内存	32GB	64GB
磁盘	20GB	50GB
CUDA	12.8+	12.8+

Clore.ai 推荐: RTX 4090（$0.14–0.42/小时）适用于量化推理——最佳性价比

使用 Ollama 快速开始

让 Mistral Small 3.1 运行起来最快的方法：

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 运行 Mistral Small 3.1（自动下载约 14GB 的 Q4 量化版）
ollama run mistral-small3.1

# 或指定特定量化版本
ollama run mistral-small3.1:24b-instruct-2503-q4_K_M

作为 OpenAI 兼容 API 的 Ollama

# 启动 Ollama 服务器
ollama serve &

# 拉取模型
ollama pull mistral-small3.1

# 通过 API 查询
curl http://localhost:11434/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "mistral-small3.1",
    "messages": [
      {"role": "system", "content": "你是一个乐于助人的代码助手。"},
      {"role": "user", "content": "为速率限制编写一个 Python 装饰器"}
    ],
    "temperature": 0.15
  }'

带视觉的 Ollama

# 发送图像进行分析
curl http://localhost:11434/api/chat -d '{
  "model": "mistral-small3.1",
  "messages": [{
    "role": "user",
    "content": "这张图片显示了什么？",
    "images": ["/path/to/image.jpg"]
  }]
}'

vLLM 配置（生产环境）

对于高吞吐量和并发请求的生产工作负载：

# 安装 vLLM（需要 v0.8.1+）
pip install -U vllm

# 验证是否已安装 mistral_common（应会自动完成）
python -c "import mistral_common; print(mistral_common.__version__)"

在单 GPU 上提供服务（仅文本）

vllm serve mistralai/Mistral-Small-3.1-24B-Instruct-2503 \\
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --tool-call-parser mistral \\
  --enable-auto-tool-choice \\
  --max-model-len 32768 \\
  --gpu-memory-utilization 0.90

带视觉能力提供服务（推荐 2 张 GPU）

vllm serve mistralai/Mistral-Small-3.1-24B-Instruct-2503 \\
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --tool-call-parser mistral \\
  --enable-auto-tool-choice \\
  --limit-mm-per-prompt 'image=10' \\
  --tensor-parallel-size 2 \\
  --max-model-len 65536

查询服务器

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="mistralai/Mistral-Small-3.1-24B-Instruct-2503",
    messages=[
        {"role": "system", "content": "你是一个乐于助人的助手。今天是 2026-02-20。"},
        {"role": "user", "content": "用 FastAPI 编写一个完整的 REST API，为博客实现 CRUD 操作"}
    ],
    temperature=0.15,
    max_tokens=4096
)
print(response.choices[0].message.content)

HuggingFace Transformers

用于直接的 Python 集成和实验：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True  # 4 位量化——可运行在 24GB GPU 上
)

messages = [
    {"role": "system", "content": "你是一个乐于助人的代码助手。"},
    {"role": "user", "content": "用 Python 实现一棵二叉搜索树，包含插入、删除和搜索方法"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

output = model.generate(
    input_ids,
    max_new_tokens=2048,
    temperature=0.15,
    do_sample=True
)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))

函数调用示例

Mistral Small 3.1 是最适合工具使用的小型模型之一：

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_stock_price",
            "description": "获取给定股票代码的当前股价",
            "parameters": {
                "type": "object",
                "required": ["ticker"],
                "properties": {
                    "ticker": {"type": "string", "description": "股票代码（例如 AAPL）"}
                }
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "calculate_portfolio_value",
            "description": "根据持仓计算投资组合总价值",
            "parameters": {
                "type": "object",
                "required": ["holdings"],
                "properties": {
                    "holdings": {
                        "type": "array",
                        "items": {
                            "type": "object",
                            "properties": {
                                "ticker": {"type": "string"},
                                "shares": {"type": "number"}
                            }
                        }
                    }
                }
            }
        }
    }
]

response = client.chat.completions.create(
    model="mistralai/Mistral-Small-3.1-24B-Instruct-2503",
    messages=[{"role": "user", "content": "AAPL 和 MSFT 现在的价格是多少？"}],
    tools=tools,
    tool_choice="auto",
    temperature=0.15
)

for tool_call in response.choices[0].message.tool_calls:
    print(f"调用：{tool_call.function.name}({tool_call.function.arguments})")

Docker 快速开始

# 单 GPU 部署
docker run --gpus all -p 8000:8000 \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  vllm/vllm-openai:latest \
  --model mistralai/Mistral-Small-3.1-24B-Instruct-2503 \\
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --tool-call-parser mistral \\
  --enable-auto-tool-choice \\
  --max-model-len 32768

# 启用视觉支持（2 张 GPU）
docker run --gpus all -p 8000:8000 \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  vllm/vllm-openai:latest \
  --model mistralai/Mistral-Small-3.1-24B-Instruct-2503 \\
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --tool-call-parser mistral \\
  --enable-auto-tool-choice \\
  --limit-mm-per-prompt 'image=10' \\
  --tensor-parallel-size 2

给 Clore.ai 用户的建议

• RTX 4090 是最佳选择：以 $0.14–0.42/小时 的价格，单张 RTX 4090 就能运行量化版 Mistral Small 3.1，而且还有余量。对于通用 LLM 来说，这是 Clore.ai 上最佳的成本/性能比。

• 使用低温度：Mistral AI 建议 temperature=0.15 用于大多数任务。更高的温度会导致该模型输出不稳定。

• RTX 3090 也可以：以 $0.07–0.21/小时 的价格，RTX 3090（24GB）也能很好地运行 Q4 量化版和 Ollama。比 4090 略慢，但价格只有一半。

• Ollama 适合快速部署，vLLM 适合生产环境：Ollama 可在 60 秒内为你提供一个可用模型。对于并发 API 请求和更高吞吐量，请切换到 vLLM。

• 函数调用使它与众不同：许多 24B 模型可以聊天——但能可靠调用工具的却很少。Mistral Small 3.1 的函数调用能力可与 GPT-4o Mini 相媲美。可自信构建智能体、API 后端和自动化流水线。

故障排查

问题	解决方案
OutOfMemoryError 在 RTX 4090 上	通过 Ollama 使用量化模型，或者 load_in_4bit=True 在 Transformers 中。完整 BF16 需要约 55GB。
未找到 Ollama 模型	使用 ollama run mistral-small3.1 （官方库名称）。
vLLM 分词器错误	务必传入 --tokenizer-mode mistral --config-format mistral --load-format mistral.
输出质量较差	设置 temperature=0.15。添加系统提示。Mistral Small 对温度很敏感。
在 1 张 GPU 上无法使用视觉功能	视觉功能需要更多显存。请使用 --tensor-parallel-size 2 或降低 --max-model-len.
函数调用返回空	在 --tool-call-parser mistral --enable-auto-tool-choice 到 vLLM serve 中。

延伸阅读

• HuggingFace 上的 Mistral Small 3.1

• Mistral AI 博客文章

• Ollama 模型页面

• vLLM 文档

• Mistral Common 库

• Mistral AI 平台