GLM-5.1（744B MoE，SWE-Bench Pro 第 1 名）

在 Clore.ai 上部署 Z.ai 的 GLM-5.1（744B MoE，40B 激活）——于 2026 年 4 月在 SWE-Bench Pro 上登顶的开源权重模型

状态（2026年4月）： GLM-5.1 于 2026年4月7日 由 Z.ai（原智谱 AI）发布，作为对 GLM-5的渐进但重要的升级。它是首个在 SWE-Bench Pro（58.4%）上登顶的开源权重模型，按厂商公布的数据，略微领先 GPT-5.4（57.7）和 Claude Opus 4.6（57.3）。权重地址为 huggingface.co/zai-org/GLM-5.1 ，采用 MIT 许可证.

GLM-5.1 是一个 7440 亿参数的混合专家（MoE） 语言模型，每个 token 仅激活 约 400 亿参数。与其前代相比 GLM-5，5.1 版本保留了相同的 MoE 骨架，但带来了改进的专家路由、 20 万 token 上下文窗口、 13.1072 万 token 最大输出，以及专注于 长周期智能体式编程 的训练——该模型明确针对持续数千次工具调用和数百轮重构而优化，不会偏离目标。

对 Clore.ai 用户来说，最有意思的是 40B 激活 这个数字：你不需要一整套 8×H200 机架就能部署它。跨 2×H100 80GB （FP8）或 4×A100 80GB （带分片的 BF16）的张量并行配置就足以获得实用吞吐量——让前沿级编程能力以市场上每天约 12–24 美元的成本触手可及。

租用的 GPU 服务器上

属性	值
总参数量	744B（MoE）
激活参数量	每次前向传播约 40B
上下文窗口	200,000 tokens
最大输出	131,072 tokens
许可证	MIT
发布日期	2026年4月7日
组织	Z.ai（HuggingFace 上的 zai-org）
主要工具链	vLLM、SGLang、llama.cpp（GGUF）、xLLM、KTransformers

为什么选择 GLM-5.1？

• SWE-Bench Pro 排名第 1 ——厂商宣称 58.4%，领先 GPT-5.4 和 Claude Opus 4.6

• 长周期智能体 ——可在数百轮和数千次工具调用中持续优化

• 20 万上下文 ——足以容纳一个中等规模完整代码库加测试套件

• 40B 激活 MoE ——你支付的是 40B 稠密模型的推理成本，而不是 744B 模型的成本

• MIT 许可证 ——完全开放权重，商业使用或微调不受限制

• 开放训练栈 ——Z.ai 已发布该模型，据称训练时未使用 Nvidia 数据中心 GPU

---

需求

但它仍然是个大模型。 虽然“40B 激活”听起来很友好，但完整的 744B 权重必须装入 VRAM（或卸载到其他介质）。FP8 权重约 860GB；BF16 约 1.5TB。请据此规划。

组件	最低配置（Q4 GGUF，卸载）	推荐配置（FP8）	完整 BF16
GPU 显存	约 80GB（Q4 + 内存卸载）	2× H100 80GB 激活，合计 8×	8× H200 141GB
内存	256GB	256GB	512GB
磁盘	500GB NVMe	1TB NVMe	2TB NVMe
CUDA	12.4+	12.4+	12.6+

Clore.ai 选择： 对大多数团队来说，使用 FP8 检查点并进行激进卸载的 2× H100 80GB 是最佳平衡点（约每天 12–16 美元）。如果你需要完整 BF16 吞吐量，就升级到 8× H200，或者在偶尔调用时使用 Z.ai API。

---

方案 A — Ollama / GGUF（量化版，社区构建）

注意： 社区 GGUF 量化版通常会在 Z.ai 发布后 1–2 周上线。如果 ollama pull 失败，请查看 huggingface.co/models?search=glm-5.1+gguf 并直接让 llama.cpp 指向该文件。

# 一旦可用 Q4_K_M 构建版本
docker exec ollama ollama pull glm-5.1:q4_K_M
docker exec ollama ollama run glm-5.1:q4_K_M

# 或直接使用 llama.cpp 处理 GGUF 文件
docker run --gpus all -it --rm -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/glm-5.1-q4_k_m.gguf \
  --n-gpu-layers 80 --ctx-size 32768 \
  --port 8080 --host 0.0.0.0

---

方案 B — vLLM（生产 API，推荐）

vLLM 是 Z.ai 的一等公民级部署目标。FP8 检查点（zai-org/GLM-5.1-FP8）是你想要的——质量与 BF16 相同，内存大约减半。

version: "3.8"
services:
  vllm：
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model zai-org/GLM-5.1-FP8
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.88
      --tool-call-parser glm47
      --reasoning-parser glm45
      --enable-auto-tool-choice
      --served-model-name glm-5.1
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# 测试 API
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5.1",
    "messages": [
      {"role": "system", "content": "你是一名资深软件工程师。"},
      {"role": "user", "content": "请重构这个 Go 处理器，正确使用 context.Context，并添加重试。"}
    ],
    "max_tokens": 4096,
    "temperature": 1.0
  }'

使用 --tensor-parallel-size 2 在 2× H100 上，如果你的 GPU 数量比较紧张，但要为 20 万上下文的较慢预填充做好准备。 --enable-chunked-prefill 会很有帮助。

---

方案 C — SGLang（替代方案，通常在 Hopper 上更快）

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model-path zai-org/GLM-5.1-FP8 \
  --tp-size 8 \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --mem-fraction-static 0.88 \
  --context-length 65536 \
  --served-model-name glm-5.1

SGLang 的 EAGLE 推测解码通常会让长篇代码补全的吞吐量提升 1.5–2 倍。

---

Clore.ai GPU 推荐

配置	VRAM	预期性能	Clore.ai 费用
2× H100 80GB	160GB	带卸载的 FP8，约 15–25 tok/s	约 12–16 美元/天
4× A100 80GB	320GB	分片 BF16，约 20–30 tok/s	约 15–22 美元/天
8× H100 80GB	640GB	完整 FP8，约 60+ tok/s	约 40–55 美元/天
8× H200 141GB	1,128GB	完整 BF16，最高吞吐量	约 70 美元+/天

最佳性价比： 2× H100 80GB 搭配 FP8 检查点。你能以大致相当于 Claude Opus 订阅的价格获得前沿级编程性能——而且权重保留在你自己的机器上。

---

使用场景

• 自主 SWE 智能体 ——GLM-5.1 明确针对长时间工具调用循环训练；可搭配 SWE-agent 或 OpenHands 等工具

• 代码库理解 ——把 10 万以上 token 的 Go/Rust/Python 放入上下文，并请求架构评审

• 长上下文 RAG ——20 万上下文可一次性处理整个产品文档 + 支持工单

• 重构流水线 ——在数百次文件编辑中持续保持正确性

• 智能体编排智能体 ——用 GLM-5.1 作为规划器，较小模型（Qwen3.5-35B、GLM-4.7）作为执行者

---

基准测试

厂商宣称——请独立验证。 以下数字来自 Z.ai 于 2026 年 4 月 7 日的公告。SWE-Bench Pro 上的独立复现仍在陆续出现。

基准	GLM-5.1	GPT-5.4	Claude Opus 4.6	GLM-5
SWE-Bench Pro	58.4%	57.7%	57.3%	~52%
SWE-Bench Verified	~79%	~78%	~80%	77.8%
HumanEval	~94%	~95%	~94%	~93%
LiveCodeBench	~72%	~73%	~70%	~68%

---

故障排除

问题	解决方案
OutOfMemoryError 在加载时	FP8 检查点总共需要约 860GB VRAM。请使用 8× H100/H200，或改用带内存卸载的 GGUF Q4。
HuggingFace 下载很慢	使用 huggingface-cli download zai-org/GLM-5.1-FP8 --local-dir ./weights --resume-download。预计需要 800GB 以上。
工具调用被静默丢弃	确保 --tool-call-parser glm47 和 --enable-auto-tool-choice 这两个选项都已在 vLLM 中设置。
思考模式为空	需要 temperature=1.0 ——零温度采样会破坏推理轨迹。
vLLM 拒绝该配置	GLM-5.1 需要 vLLM ≥ 0.7.x（2026 年 4 月版本）。如果版本较旧，请使用 pip install -U vllm --pre 。
20 万上下文 OOM	从 --max-model-len 65536 开始，并添加 --enable-chunked-prefill；稳定后再提高。

---

下一步

• 前代： GLM-5 ——相同的 MoE 结构，但编程导向稍弱

• 更便宜的替代方案： Qwen3.5 ——35B 稠密模型可在单张 RTX 4090 上运行

• 超大上下文替代方案： DeepSeek V4 ——100 万上下文，多模态，约 1T 参数

• Clore.ai 市场： clore.ai/marketplace ——可租用 H100/H200/A100，低至每天 0.50 美元

链接

• HuggingFace 上的 GLM-5.1

• Z.ai 博客——GLM-5.1 公告

• Z.ai 平台（托管 API）

• vLLM 文档

• SGLang 仓库