> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/hy3-preview.md).

# Hy3 预览版（腾讯混元 3，295B MoE）

在 Clore.ai 上部署腾讯的 Hy3 预览版（295B MoE，21B 活跃，256K ctx）——腾讯混元重建训练栈的首个模型，针对长程推理和智能体编码进行了优化

{% hint style="info" %}
**状态（2026年4月）：** Hy3 Preview 是首个公开发布版本，来自 **腾讯混元重建后的训练基础设施**，发布于 **2026 年 4 月 13 日** ，最后更新于 **2026 年 4 月 23 日**。权重位于 [huggingface.co/tencent/Hy3-preview](https://huggingface.co/tencent/Hy3-preview) 在以下许可证下发布： **腾讯 Hy 社区许可证**。首日支持已落地于 vLLM 和 SGLang。
{% endhint %}

Hy3 Preview 是一个 **拥有 2950 亿参数的混合专家（MoE）** 语言模型，每个 token 仅激活 **约 210 亿参数** （192 个专家，top-8 路由）。它面向腾讯已明显追赶上的两个工作负载： **长程推理** （FrontierScience-Olympiad、IMOAnswerBench、数学博士考试）以及 **智能体编码** （SWE-bench Verified 74.4%，Terminal-Bench 2.0 54.4%，为厂商宣称）。256K 上下文窗口加上 MTP（多 Token 预测）推测解码层，使其适合 IDE 规模的编码智能体和文档密集型 RAG。

对于 Clore.ai 用户来说，最关键的数字是 **210 亿激活参数**。你不需要完整的 8×H200 机架。跨 **4×A100 80GB** 或 **2×H100 80GB** （使用 offload 的 BF16）就足以以可用吞吐量提供服务——在市场上以约 $2.08/小时获得前沿级智能体编码，且权重始终留在你自己的机器上。

### 关键规格

| 属性    | 数值                                  |
| ----- | ----------------------------------- |
| 总参数   | 2950 亿（MoE）                         |
| 激活参数  | 每次前向传播激活 210 亿参数                    |
| 专家    | 总计 192 个，top-8 路由                   |
| 层数    | 80 层 Transformer + 1 层 MTP          |
| 注意力机制 | 64 个头，采用 8 个 KV 头的 GQA，头维度 128      |
| 隐藏维度  | 4096                                |
| 中间维度  | 13,312                              |
| 词表    | 120,832                             |
| 上下文窗口 | 256,000 个 token                     |
| 原生精度  | BF16                                |
| 许可证   | 腾讯 Hy 社区许可证                         |
| 发布日期  | 2026 年 4 月 13 日                     |
| 组织    | 腾讯混元                                |
| 主要工具链 | vLLM、SGLang、AngelSlim、LLaMA-Factory |

### 为什么选择 Hy3 Preview？

* **首发于腾讯重建后的 RL 技术栈** —— 腾讯为此次发布重写了其训练基础设施；预计 2026 年将快速迭代
* **210 亿激活参数的 MoE** —— 只需支付约 210 亿稠密模型的推理成本，而不是 2950 亿
* **256K 上下文** —— 足以一次处理完整仓库、长智能体轨迹或多文档 RAG
* **MTP 推测层** —— 内置多 token 预测在 Hopper 级 GPU 上可带来约 1.5–2× 的解码加速
* **两种推理模式** — `reasoning_effort: "high"` 用于链式思考， `"no_think"` 用于快速直接回答
* **聚焦智能体编码** —— 专门针对 SWE-bench 风格的多轮工具使用和终端智能体调优
* **对开源友好的许可证** —— 腾讯 Hy 社区许可证在大多数用途上都类似 Apache；请根据你的具体情况核对 LICENSE 文件

***

## 需求

{% hint style="warning" %}
**Clore.ai 市场上未列出多 GPU 的 80GB 级机型。** 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 [裸机](https://clore.ai/bare-metal) 需求提供。部署前请查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。
{% endhint %}

{% hint style="warning" %}
**它仍然是 2950 亿级模型。** “21B active”描述的是推理计算量，而不是内存占用。完整的 BF16 权重大约为 590GB，必须驻留在 VRAM 中（或被 offload）。如果你想要不受限制的吞吐量，请预留 8×H100/H200；4×A100 80GB 在 offload 和较短上下文下可用。
{% endhint %}

| 组件     | 最低配置（Q4 GGUF，offload）      | 推荐配置（BF16，TP）       | 完整 BF16（生产）              |
| ------ | -------------------------- | ------------------- | ------------------------ |
| GPU 显存 | 约 80GB + 256GB RAM offload | 4× A100 80GB（320GB） | 8× H100 80GB 或 8× H20-3e |
| 内存     | 256GB                      | 384GB               | 512GB                    |
| 磁盘     | 700GB NVMe                 | 1TB NVMe            | 1.5TB NVMe               |
| CUDA   | 12.8+                      | 12.8+               | 12.8+                    |
| 驱动     | 550+                       | 550+                | 560+                     |

**硬件适配：** 对于大多数团队来说， **4× A100 80GB** 配合 BF16 张量并行和 `--max-model-len 65536` 是最优平衡点（[裸机](https://clore.ai/bare-metal)）。如果你需要带并发用户的完整 256K 上下文，则升级到 8× H100。

***

## 方案 A —— Ollama / GGUF（量化版，社区构建）

{% hint style="warning" %}
**提醒：** Hy3 Preview 是全新的（2026 年 4 月 13 日）并使用自定义 MoE 架构。社区 llama.cpp / GGUF 支持通常会在 **2–4 周后** 发布后到来。如果你今天就需要它，请使用 vLLM（方案 B）。查看 [huggingface.co/models?search=hy3-preview+gguf](https://huggingface.co/models?search=hy3-preview+gguf) 在下载前查看社区量化版本。
{% endhint %}

```bash
# 一旦发布 Q4_K_M 构建版本
docker exec ollama ollama pull hy3-preview:q4_K_M
docker exec ollama ollama run hy3-preview:q4_K_M

# 或者直接使用 llama.cpp 运行社区 GGUF
docker run --gpus all -it --rm -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/hy3-preview-q4_k_m.gguf \\
  --n-gpu-layers 80 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0
```

在 GGUF 之前的阶段，AngelSlim（腾讯自研量化工具包）可以直接从 BF16 检查点生成 W4A16 / W8A8 权重。

***

## 选项 B —— vLLM（生产 API，推荐）

vLLM 是 Tencent Hy3 Preview 的一等服务目标。MTP 推测层通过以下方式接入： `--speculative-config.method mtp`.

```yaml
version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model tencent/Hy3-preview
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --speculative-config.method mtp
      --speculative-config.num_speculative_tokens 1
      --tool-call-parser hy_v3
      --reasoning-parser hy_v3
      --enable-auto-tool-choice
      --served-model-name hy3-preview
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:
```

```bash
# 使用高推理强度测试 API
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "你是一名软件工程专家。"},
      {"role": "user", "content": "将此 Python 函数重构为使用 async/await，并添加适当的错误处理。"}
    ],
    "max_tokens": 4096,
    "temperature": 0.9,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'
```

{% hint style="info" %}
**推理模式。** 设置 `reasoning_effort: "high"` 用于启用链式思考轨迹（更慢，但在数学/编码/智能体任务上效果更好）或 `"no_think"` 用于快速直接回答。厂商推荐的采样参数是 `temperature=0.9, top_p=1.0` —— 零温度采样可能会破坏推理轨迹。
{% endhint %}

{% hint style="info" %}
**GPU 紧张吗？** 降到 `--tensor-parallel-size 4` 在 4× A100 80GB 上。保持 `--max-model-len 32768` 并添加 `--enable-chunked-prefill` 以保持预填充延迟在合理范围内。
{% endhint %}

***

## 选项 C — SGLang

SGLang 首日即支持，并将 MTP 层与 EAGLE 推测解码结合，在 Hopper 上获得额外吞吐量。

```bash
docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \\
  --model tencent/Hy3-preview \\
  --tp 8 \\
  --tool-call-parser hunyuan \\
  --reasoning-parser hunyuan \\
  --speculative-algorithm EAGLE \\
  --speculative-num-steps 1 \\
  --speculative-eagle-topk 1 \\
  --speculative-num-draft-tokens 2 \\
  --mem-fraction-static 0.88 \\
  --context-length 65536 \\
  --served-model-name hy3-preview
```

与普通解码相比，在长智能体循环中预期有 1.5–2× 的吞吐量提升。

***

## Clore.ai GPU 推荐

| 配置            | 显存      | 预期性能                                    | Clore.ai 成本                       | 租用                                         |
| ------------- | ------- | --------------------------------------- | --------------------------------- | ------------------------------------------ |
| 4× A100 80GB  | 320GB   | BF16 分片，64K 上下文，约 15–25 token/s         | [裸机](https://clore.ai/bare-metal) | [裸机](https://clore.ai/bare-metal)          |
| 2× H100 80GB  | 160GB   | 使用 offload 的 BF16，更小上下文，约 12–20 token/s | 约 $2.08/小时                        | [租用 H100](https://clore.ai/rent-h100.html) |
| 8× H100 80GB  | 640GB   | 完整 BF16，256K 上下文，配合 MTP 可达 60+ token/s  | 约 $8.32/小时                        | [租用 H100](https://clore.ai/rent-h100.html) |
| 8× H200 141GB | 1,128GB | 完整 BF16 + 最大并发                          | [裸机](https://clore.ai/bare-metal) | [裸机](https://clore.ai/bare-metal)          |
| 1× RTX 5090   | 32GB    | Q4 GGUF，RAM offload，单用户                 | $0.25–0.77/小时                     | [市场](https://clore.ai/marketplace)         |

{% hint style="success" %}
**最适合：** 4× A100 80GB，配合 BF16 张量并行和 64K 上下文窗口，可作为 [裸机](https://clore.ai/bare-metal) 而不是市场租用。你能以大致相当于 Claude Pro 订阅的价格获得一个开放权重的 2950 亿级智能体编码模型，而且权重永远不会离开你租用的机器。
{% endhint %}

***

## 应用场景

* **自治 SWE 智能体** —— SWE-bench Verified 74.4%（厂商宣称），并针对长工具调用循环进行了明确调优；可搭配 OpenHands、SWE-agent 或 Aider
* **终端驱动智能体** —— Terminal-Bench 2.0 54.4% 使其在 shell/CLI 工作流中位居顶级
* **长程推理** —— 奥赛级数学（IMOAnswerBench、FrontierScience-Olympiad）以及博士级 STEM
* **代码库规模 RAG** —— 256K 上下文可在单个提示中容纳完整的中型代码仓库及其测试
* **搜索与浏览智能体** —— BrowseComp / WideSearch 调优使其成为多步骤网页研究的强大规划器
* **智能体中的智能体** —— 使用 Hy3 Preview 作为规划器，并使用更轻量的开源模型（[Qwen3.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md), [GLM-4.7 Flash](/guides/guides_v2-zh/yu-yan-mo-xing/glm-47-flash.md)）作为执行者

***

## 基准

{% hint style="warning" %}
**这是厂商声称——请独立核实。** 以下所有数字均来自腾讯 2026 年 4 月 13 日的模型卡。独立复现结果（尤其是 SWE-bench Verified 上）仍在陆续出现。在 LMSYS / OpenCompass 确认之前，请将其视为上限。
{% endhint %}

| 基准                 | Hy3 Preview | GLM-5.1 | DeepSeek R1 | GPT-5.4 |
| ------------------ | ----------- | ------- | ----------- | ------- |
| SWE-bench Verified | **74.4%**   | \~79%   | \~71%       | \~78%   |
| Terminal-Bench 2.0 | **54.4%**   | —       | —           | —       |
| GPQA Diamond       | **87.2%**   | —       | \~84%       | \~88%   |
| SuperGPQA          | 51.6%       | —       | —           | —       |
| HLE                | \~30        | —       | —           | —       |

腾讯还报告了在自有的 CL-bench / CL-bench-Life 上下文学习基准以及清华求真数学博士考试（2026 春）上的优异成绩。

***

## 故障排查

| 问题                     | 解决方案                                                                                                                |
| ---------------------- | ------------------------------------------------------------------------------------------------------------------- |
| `OutOfMemoryError` 加载时 | BF16 需要约 590GB 总 VRAM。降到 4×A100 并使用 `--max-model-len 32768` 或者使用 AngelSlim W4A16 量化版。                               |
| HuggingFace 下载很慢       | 使用 `huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download`。预计需要 590GB 以上。            |
| 工具调用被静默丢弃              | 请确保 `--tool-call-parser hy_v3` （vLLM）或 `--tool-call-parser hunyuan` （SGLang）已设置，并且 `--enable-auto-tool-choice` 已开启。 |
| 推理轨迹为空 / 错误            | 使用 `temperature=0.9, top_p=1.0`。零温度贪婪解码会破坏链式思考。确认 `reasoning_effort: "high"`.                                       |
| MTP 推测解码错误             | 需要较新的 vLLM（2026 年 4 月之后的构建版本）。运行 `pip install -U vllm --pre` 或者固定到列出 `mtp` 的发布说明标签。                                 |
| 256K 上下文 OOM           | 从 `--max-model-len 32768`，启用 `--enable-chunked-prefill`开始，逐步提高。完整 256K 实际上需要 8× H200。                               |
| 自定义架构被拒绝               | 务必传入 `--trust-remote-code`。Hy3 随检查点一起提供自定义建模代码。                                                                     |
| Ollama / GGUF 不可用      | 社区量化版通常在发布后 2–4 周到来。在此期间请使用 vLLM 或 AngelSlim。                                                                       |

***

## 下一步

* **最接近的开源权重同类：** [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) —— 7440 亿 / 400 亿激活参数 MoE，MIT 许可证，SWE-bench Pro 顶级成绩
* **多模态替代品：** [Qwen3.5-Omni](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35-omni.md) —— 文本 + 音频 + 图像 + 视频，可在单张 RTX 4090 上运行
* **仅推理替代方案：** [DeepSeek R1](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-r1.md) —— 纯长文本推理专家
* **租用硬件：** [裸机上的 A100 80GB](https://clore.ai/bare-metal) —— 来自 [裸机](https://clore.ai/bare-metal)
* **完整市场：** [clore.ai/marketplace](https://clore.ai/marketplace) —— H100、H200、A100、RTX 5090，价格从 $0.25–0.77/小时

### 链接

* [HuggingFace 上的 Hy3 Preview](https://huggingface.co/tencent/Hy3-preview)
* [Hy3 Preview GitHub 仓库](https://github.com/Tencent-Hunyuan/Hy3-preview)
* [腾讯混元组织](https://huggingface.co/tencent)
* [vLLM 文档](https://docs.vllm.ai)
* [SGLang 仓库](https://github.com/sgl-project/sglang)
* [AngelSlim —— 腾讯的量化工具包](https://github.com/Tencent/AngelSlim)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/hy3-preview.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.