Hy3 预览版（腾讯混元 3，295B MoE）

在 Clore.ai 上部署腾讯的 Hy3 预览版（295B MoE，21B 活跃，256K ctx）——腾讯混元重建训练栈的首个模型，针对长程推理和智能体编码进行了优化

状态（2026年4月）： Hy3 Preview 是首个公开发布版本，来自 腾讯混元重建后的训练基础设施，发布于 2026 年 4 月 13 日 ，最后更新于 2026 年 4 月 23 日。权重位于 huggingface.co/tencent/Hy3-preview 在以下许可证下发布： 腾讯 Hy 社区许可证。首日支持已落地于 vLLM 和 SGLang。

Hy3 Preview 是一个 拥有 2950 亿参数的混合专家（MoE） 语言模型，每个 token 仅激活 约 210 亿参数 （192 个专家，top-8 路由）。它面向腾讯已明显追赶上的两个工作负载： 长程推理 （FrontierScience-Olympiad、IMOAnswerBench、数学博士考试）以及 智能体编码 （SWE-bench Verified 74.4%，Terminal-Bench 2.0 54.4%，为厂商宣称）。256K 上下文窗口加上 MTP（多 Token 预测）推测解码层，使其适合 IDE 规模的编码智能体和文档密集型 RAG。

对于 Clore.ai 用户来说，最关键的数字是 210 亿激活参数。你不需要完整的 8×H200 机架。跨 4×A100 80GB 或 2×H100 80GB （使用 offload 的 BF16）就足以以可用吞吐量提供服务——在市场上以约 $2.08/小时获得前沿级智能体编码，且权重始终留在你自己的机器上。

关键规格

属性	数值
总参数	2950 亿（MoE）
激活参数	每次前向传播激活 210 亿参数
专家	总计 192 个，top-8 路由
层数	80 层 Transformer + 1 层 MTP
注意力机制	64 个头，采用 8 个 KV 头的 GQA，头维度 128
隐藏维度	4096
中间维度	13,312
词表	120,832
上下文窗口	256,000 个 token
原生精度	BF16
许可证	腾讯 Hy 社区许可证
发布日期	2026 年 4 月 13 日
组织	腾讯混元
主要工具链	vLLM、SGLang、AngelSlim、LLaMA-Factory

为什么选择 Hy3 Preview？

• 首发于腾讯重建后的 RL 技术栈 —— 腾讯为此次发布重写了其训练基础设施；预计 2026 年将快速迭代

• 210 亿激活参数的 MoE —— 只需支付约 210 亿稠密模型的推理成本，而不是 2950 亿

• 256K 上下文 —— 足以一次处理完整仓库、长智能体轨迹或多文档 RAG

• MTP 推测层 —— 内置多 token 预测在 Hopper 级 GPU 上可带来约 1.5–2× 的解码加速

• 两种推理模式 — reasoning_effort: "high" 用于链式思考， "no_think" 用于快速直接回答

• 聚焦智能体编码 —— 专门针对 SWE-bench 风格的多轮工具使用和终端智能体调优

• 对开源友好的许可证 —— 腾讯 Hy 社区许可证在大多数用途上都类似 Apache；请根据你的具体情况核对 LICENSE 文件

---

需求

Clore.ai 市场上未列出多 GPU 的 80GB 级机型。 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 裸机 需求提供。部署前请查看 GPU 价格与可用性 。

它仍然是 2950 亿级模型。 “21B active”描述的是推理计算量，而不是内存占用。完整的 BF16 权重大约为 590GB，必须驻留在 VRAM 中（或被 offload）。如果你想要不受限制的吞吐量，请预留 8×H100/H200；4×A100 80GB 在 offload 和较短上下文下可用。

组件	最低配置（Q4 GGUF，offload）	推荐配置（BF16，TP）	完整 BF16（生产）
GPU 显存	约 80GB + 256GB RAM offload	4× A100 80GB（320GB）	8× H100 80GB 或 8× H20-3e
内存	256GB	384GB	512GB
磁盘	700GB NVMe	1TB NVMe	1.5TB NVMe
CUDA	12.8+	12.8+	12.8+
驱动	550+	550+	560+

硬件适配： 对于大多数团队来说， 4× A100 80GB 配合 BF16 张量并行和 --max-model-len 65536 是最优平衡点（裸机）。如果你需要带并发用户的完整 256K 上下文，则升级到 8× H100。

---

方案 A —— Ollama / GGUF（量化版，社区构建）

提醒： Hy3 Preview 是全新的（2026 年 4 月 13 日）并使用自定义 MoE 架构。社区 llama.cpp / GGUF 支持通常会在 2–4 周后 发布后到来。如果你今天就需要它，请使用 vLLM（方案 B）。查看 huggingface.co/models?search=hy3-preview+gguf 在下载前查看社区量化版本。

# 一旦发布 Q4_K_M 构建版本
docker exec ollama ollama pull hy3-preview:q4_K_M
docker exec ollama ollama run hy3-preview:q4_K_M

# 或者直接使用 llama.cpp 运行社区 GGUF
docker run --gpus all -it --rm -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/hy3-preview-q4_k_m.gguf \\
  --n-gpu-layers 80 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0

在 GGUF 之前的阶段，AngelSlim（腾讯自研量化工具包）可以直接从 BF16 检查点生成 W4A16 / W8A8 权重。

---

选项 B —— vLLM（生产 API，推荐）

vLLM 是 Tencent Hy3 Preview 的一等服务目标。MTP 推测层通过以下方式接入： --speculative-config.method mtp.

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model tencent/Hy3-preview
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --speculative-config.method mtp
      --speculative-config.num_speculative_tokens 1
      --tool-call-parser hy_v3
      --reasoning-parser hy_v3
      --enable-auto-tool-choice
      --served-model-name hy3-preview
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# 使用高推理强度测试 API
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "你是一名软件工程专家。"},
      {"role": "user", "content": "将此 Python 函数重构为使用 async/await，并添加适当的错误处理。"}
    ],
    "max_tokens": 4096,
    "temperature": 0.9,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

推理模式。 设置 reasoning_effort: "high" 用于启用链式思考轨迹（更慢，但在数学/编码/智能体任务上效果更好）或 "no_think" 用于快速直接回答。厂商推荐的采样参数是 temperature=0.9, top_p=1.0 —— 零温度采样可能会破坏推理轨迹。

GPU 紧张吗？ 降到 --tensor-parallel-size 4 在 4× A100 80GB 上。保持 --max-model-len 32768 并添加 --enable-chunked-prefill 以保持预填充延迟在合理范围内。

---

选项 C — SGLang

SGLang 首日即支持，并将 MTP 层与 EAGLE 推测解码结合，在 Hopper 上获得额外吞吐量。

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \\
  --model tencent/Hy3-preview \\
  --tp 8 \\
  --tool-call-parser hunyuan \\
  --reasoning-parser hunyuan \\
  --speculative-algorithm EAGLE \\
  --speculative-num-steps 1 \\
  --speculative-eagle-topk 1 \\
  --speculative-num-draft-tokens 2 \\
  --mem-fraction-static 0.88 \\
  --context-length 65536 \\
  --served-model-name hy3-preview

与普通解码相比，在长智能体循环中预期有 1.5–2× 的吞吐量提升。

---

Clore.ai GPU 推荐

配置	显存	预期性能	Clore.ai 成本	租用
4× A100 80GB	320GB	BF16 分片，64K 上下文，约 15–25 token/s	裸机	裸机
2× H100 80GB	160GB	使用 offload 的 BF16，更小上下文，约 12–20 token/s	约 $2.08/小时	租用 H100
8× H100 80GB	640GB	完整 BF16，256K 上下文，配合 MTP 可达 60+ token/s	约 $8.32/小时	租用 H100
8× H200 141GB	1,128GB	完整 BF16 + 最大并发	裸机	裸机
1× RTX 5090	32GB	Q4 GGUF，RAM offload，单用户	$0.25–0.77/小时	市场

最适合： 4× A100 80GB，配合 BF16 张量并行和 64K 上下文窗口，可作为 裸机 而不是市场租用。你能以大致相当于 Claude Pro 订阅的价格获得一个开放权重的 2950 亿级智能体编码模型，而且权重永远不会离开你租用的机器。

---

应用场景

• 自治 SWE 智能体 —— SWE-bench Verified 74.4%（厂商宣称），并针对长工具调用循环进行了明确调优；可搭配 OpenHands、SWE-agent 或 Aider

• 终端驱动智能体 —— Terminal-Bench 2.0 54.4% 使其在 shell/CLI 工作流中位居顶级

• 长程推理 —— 奥赛级数学（IMOAnswerBench、FrontierScience-Olympiad）以及博士级 STEM

• 代码库规模 RAG —— 256K 上下文可在单个提示中容纳完整的中型代码仓库及其测试

• 搜索与浏览智能体 —— BrowseComp / WideSearch 调优使其成为多步骤网页研究的强大规划器

• 智能体中的智能体 —— 使用 Hy3 Preview 作为规划器，并使用更轻量的开源模型（Qwen3.5, GLM-4.7 Flash）作为执行者

---

基准

这是厂商声称——请独立核实。 以下所有数字均来自腾讯 2026 年 4 月 13 日的模型卡。独立复现结果（尤其是 SWE-bench Verified 上）仍在陆续出现。在 LMSYS / OpenCompass 确认之前，请将其视为上限。

基准	Hy3 Preview	GLM-5.1	DeepSeek R1	GPT-5.4
SWE-bench Verified	74.4%	~79%	~71%	~78%
Terminal-Bench 2.0	54.4%	—	—	—
GPQA Diamond	87.2%	—	~84%	~88%
SuperGPQA	51.6%	—	—	—
HLE	~30	—	—	—

腾讯还报告了在自有的 CL-bench / CL-bench-Life 上下文学习基准以及清华求真数学博士考试（2026 春）上的优异成绩。

---

故障排查

问题	解决方案
OutOfMemoryError 加载时	BF16 需要约 590GB 总 VRAM。降到 4×A100 并使用 --max-model-len 32768 或者使用 AngelSlim W4A16 量化版。
HuggingFace 下载很慢	使用 huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download。预计需要 590GB 以上。
工具调用被静默丢弃	请确保 --tool-call-parser hy_v3 （vLLM）或 --tool-call-parser hunyuan （SGLang）已设置，并且 --enable-auto-tool-choice 已开启。
推理轨迹为空 / 错误	使用 temperature=0.9, top_p=1.0。零温度贪婪解码会破坏链式思考。确认 reasoning_effort: "high".
MTP 推测解码错误	需要较新的 vLLM（2026 年 4 月之后的构建版本）。运行 pip install -U vllm --pre 或者固定到列出 mtp 的发布说明标签。
256K 上下文 OOM	从 --max-model-len 32768，启用 --enable-chunked-prefill开始，逐步提高。完整 256K 实际上需要 8× H200。
自定义架构被拒绝	务必传入 --trust-remote-code。Hy3 随检查点一起提供自定义建模代码。
Ollama / GGUF 不可用	社区量化版通常在发布后 2–4 周到来。在此期间请使用 vLLM 或 AngelSlim。

---

下一步

• 最接近的开源权重同类： GLM-5.1 —— 7440 亿 / 400 亿激活参数 MoE，MIT 许可证，SWE-bench Pro 顶级成绩

• 多模态替代品： Qwen3.5-Omni —— 文本 + 音频 + 图像 + 视频，可在单张 RTX 4090 上运行

• 仅推理替代方案： DeepSeek R1 —— 纯长文本推理专家

• 租用硬件： 裸机上的 A100 80GB —— 来自 裸机

• 完整市场： clore.ai/marketplace —— H100、H200、A100、RTX 5090，价格从 $0.25–0.77/小时

链接

• HuggingFace 上的 Hy3 Preview

• Hy3 Preview GitHub 仓库

• 腾讯混元组织

• vLLM 文档

• SGLang 仓库

• AngelSlim —— 腾讯的量化工具包