GLM-5.2（MIT，100 万上下文）
在 Clore.ai 市场上的大型多 GPU 机器上运行 GLM-5.2，Z.ai 的 MIT 许可、100 万上下文的代码旗舰模型
GLM-5.1 已经是软件工程领域最值得超越的开源模型。GLM-5.2 将 Terminal-Bench 2.1 从 63.5 提升到 81.0 并将 SWE-bench Pro 从 58.4 提升到 62.1，而且它采用 MIT 许可证；与此同时，其他前沿模型却转向带有收入门槛的定制条款。
但问题在于体积。FP8 检查点为 756GB。这不是单卡模型，而且永远也不会是。它在 Clore.ai 上之所以有意思，是因为量化版本刚好落在市场上最大机器的上限之内。
关键规格
参数
总计约 750B，激活约 40B（MoE）
架构
78 层，256 个路由专家，每个 token 激活 8 个，IndexShare 稀疏注意力，MTP
上下文
1,000,000 个 token
许可证
MIT
发布日期
2026年6月13日
权重
FP8 756GB · Q2_K_XL GGUF 254GB · IQ1_S GGUF 217GB
主要工具链
SGLang ≥ 0.5.13.post1，vLLM ≥ 0.23.0，llama.cpp
相较于 GLM-5.1 的新变化
扎实的 100万上下文 — 这不是一个标题党式的数字，而是一个在长程任务中也经得起考验的上下文窗口
IndexShare — 每四层稀疏注意力复用一个索引器，将每个 token 的 FLOPs 降低 在 100万上下文下达到 2.9×
更好的 MTP — 推测解码的接受长度最多提升 20%
可灵活调整的思考强度 — 在每个请求中权衡延迟与推理深度
仍然是 MIT — 权重不附带任何使用限制
需求
这个模型需要整机，不是单卡。 756GB 的 FP8 超过 Clore.ai 市场上的所有机器。列表中最大的机器是 4× RTX PRO 6000 Blackwell（380GB）和 10–11× RTX 5090（310–341GB）。在这里，只有量化 GGUF 是可行路径；全精度推理适合放在 裸机.
UD-IQ1_S
217GB
8× RTX 5090（248GB）— 列出有 ≥242GB 的服务器 47 台
UD-IQ2_M
239GB
8× RTX 5090，勉强够用
UD-Q2_K_XL
254GB
10× RTX 5090（310GB）或 4× RTX PRO 6000（380GB）
UD-Q3_K_M
343GB
仅 4× RTX PRO 6000（380GB）—— 列出了 2 台这样的服务器
UD-IQ4_XS
365GB
4× RTX PRO 6000，没有余量
在工作上下文长度下，为 KV 缓存和激活在权重大小基础上再预留 10–15%，并检查系统内存：这些机器在加载时需要足够内存暂存权重。
在多 GPU 机器上使用 llama.cpp 部署
在市场硬件上可行的路径。租一台 10× RTX 5090 机器（大约 5.00 美元/小时 在上次快照时）并把模型分配到所有显卡上：
使用 vLLM 或 SGLang 部署（FP8，专用硬件）
如果你有相应资源——裸机或自有集群——Z.ai 直接支持这两种引擎：
适用于其他栈的现成量化检查点： nvidia/GLM-5.2-NVFP4 适用于 Blackwell， cyankiwi/GLM-5.2-AWQ-INT4 适用于 AWQ 栈， amd/GLM-5.2-MXFP4 适用于 Instinct。
Clore.ai GPU 推荐
8× RTX 5090
248GB
IQ1_S / IQ2_M
约 2.00–3.50 美元/小时
10× RTX 5090
310GB
Q2_K_XL
约 5.00 美元/小时
4× RTX PRO 6000 Blackwell
380GB
Q2_K_XL 或 Q3_K_M
约 5.00 美元/小时
这种规模的机器任何时刻都只有寥寥几台——≥242GB 的服务器有 47 台，其中 9 台在上次快照时为空闲。在把计划建立在这类机器上之前，先检查市场。
基准
来自 Z.ai 自家的模型卡（2026年6月13日）。代码评测套件已有独立复现；推理分数请视为厂商报告。
Terminal-Bench 2.1（Terminus-2）
81.0
63.5
64
65
Terminal-Bench 2.1（最佳评测框架）
82.7
69
—
—
SWE-bench Pro
62.1
58.4
55.4
59
NL2Repo
48.9
42.7
35.5
42.1
DeepSWE
46.2
18
8
20
HLE
40.5
31
37.7
37
AIME 2026
99.2
95.3
94.6
—
GPQA-Diamond
91.2
86.2
90.1
93
应用场景
自主编码代理 — Terminal-Bench 和 DeepSWE 的提升正是代理所需的长程行为
整仓库推理 — 100万上下文配合稀疏注意力，在长上下文下依然可负担
迁移与重构工作 — NL2Repo 衡量的是根据规格构建仓库的能力，而 GLM-5.2 在开源阵营领先
闭源前沿 API 的自托管替代方案 — MIT 许可意味着你可以把它集成到产品中发布
批量评测框架 — 按分钟租一台大机器，跑完批量测试，关闭订单
故障排查
下载要很久
Q2 版本下有 254GB——在市场中筛选高带宽服务器并使用 --include 仅下载一个量化版本
OOM 跨 GPU 分摊
--split-mode layer 在 llama.cpp 中；在 vLLM 中提高 --tensor-parallel-size 到全部 GPU 数量
首个 token 需要几分钟
去掉 --mmap，把模型保存在本地 NVMe 上，并用一个短提示词预热
vLLM 拒绝该配置
需要 ≥ 0.23.0；SGLang 需要 ≥ 0.5.13.post1
在 IQ1 下质量感觉不对劲
这是一个 750B 模型的 1 比特版本。如果机器允许，升级到 Q2_K_XL 或更高。
下载中途机器消失
被别人租走了。长时间搭建工作请使用按需实例而不是抢占式实例
下一步
前代： GLM-5.1 — 4 月发布的 744B 版本
反而能装进一张卡： Qwen3.8-27B — Apache 2.0 许可，Q4 时为 15GB
同一量级： MiniMax M3 · Nemotron 3 Ultra · DeepSeek V4
设备规格： GPU 价格与可用性 · 多 GPU 设置
链接
最后更新于
这有帮助吗？