> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/ling-26-flash.md). # Ling-2.6-flash（蚂蚁集团 104B MoE） 在 Clore.ai 上部署蚂蚁集团的 Ling-2.6-flash（104B MoE，7.4B 活跃）——面向智能体优化的 flash 兄弟模型，可运行在单张 RTX 4090 上 {% hint style="info" %} **状态（2026年4月29日）：** Ling-2.6-flash 由蚂蚁集团的 **inclusionAI** 团队于 **2026年4月28日** （在撰写时为一天前）。它是以下模型的小巧、快速、面向智能体调优的兄弟版本： [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) ——同一谱系，同样的混合线性注意力基因，但只有 **7.4B 个激活参数** ，而总共来自一个 104B 的稀疏 MoE。权重地址： [huggingface.co/inclusionAI/Ling-2.6-flash](https://huggingface.co/inclusionAI/Ling-2.6-flash) 在以下许可证下发布： **MIT 许可证**. {% endhint %} 需要 [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) 一整机 8 卡 GPU 机架才能启动，而 Ling-2.6-flash 是 **首个可在单张消费级 GPU 上运行的 inclusionAI 发布版本**。7.4B 的激活路径意味着，你支付的是 8B 稠密模型的推理成本，却能调用 104B 参数池——而蚂蚁集团已针对 **智能体工作流**：工具调用、多步规划和结构化函数派发。 厂商公布的数字显示，Ling-2.6-flash 在其尺寸级别上达到以下 SOTA： **BFCL-V4** 以及 **TAU2-bench** 在其尺寸级别中，吞吐量约为 **在 4×H20 上约 340 tok/s** ，在官方基准配置下。对 Clore.ai 用户来说，更有意思的是更小的部署方案： **INT4 可轻松放在一张 RTX 4090（24GB）上** 并且还留有 32K+ 上下文的余量，而且 **FP8 可放在单张 H100 80GB 上**。这意味着一款全新的、面向智能体调优的前沿级小模型在以下配置上的价格大约为 \~$1.04/小时： [Clore.ai 市场](https://clore.ai/marketplace). ### 关键规格 | 属性 | 数值 | | ----- | ----------------------------------------- | | 总参数 | 104B（MoE） | | 激活参数 | 每次前向传播仅 7.4B | | 架构 | 1:7 MLA + Lightning Linear 混合注意力 | | 上下文窗口 | 262,144 个 token | | 量化方式 | BF16、FP8、INT4 | | 许可证 | MIT | | 发布日期 | 2026年4月28日 | | 组织 | 蚂蚁集团 — inclusionAI | | 主要工具链 | SGLang（推荐）、vLLM、llama.cpp/Ollama（社区 GGUF） | ### 为什么选择 Ling-2.6-flash？ * **可单 GPU 部署** — 一张卡上运行 INT4 [RTX 4090](https://clore.ai/rent-4090.html) 或 [RTX 3090](https://clore.ai/rent-3090.html)，单张 H100 上运行 FP8。无需多 GPU 折腾，也无需纠结 NVLink。 * **面向智能体调优** — 明确针对 BFCL-V4 / TAU2-bench 风格的工具调用循环训练，而不只是事后拿来跑分。 * **以 7.4B 激活成本获得稀疏 MoE 质量** — 你可以通过 7.4B 的推理路径调用 104B 参数知识池。 * **开箱即用的 256K 上下文** — 原生 262K token，长智能体轨迹无需 YaRN 技巧。 * **MIT 许可证** — 可完全商用、可微调、可再分发。 * **谱系** — 直接继承自 [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) 和 Ring-2.5；该架构经过实战验证。 *** ## 需求 {% hint style="warning" %} **Clore.ai 市场上未列出多 GPU 的 80GB 级机型。** 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 [裸机](https://clore.ai/bare-metal) 需求提供。部署前请查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。 {% endhint %} {% hint style="success" %} **对 Clore 友好。** 这是 inclusionAI 系列中首个可在单张消费级 GPU 上运行的模型。如果你一直被以下方案的价格劝退： [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) 或 [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md)这就是入门方案。 {% endhint %} | 组件 | INT4（单张 24GB） | FP8（单张 80GB） | BF16（完整质量） | | ------ | ------------------------ | ------------------- | ---------------------------- | | GPU 显存 | 1× RTX 4090 / 3090（24GB） | 1× H100 / A100 80GB | 2× A100 80GB 或 1× H200 141GB | | 内存 | 32GB | 64GB | 128GB | | 磁盘 | 60GB NVMe | 120GB NVMe | 220GB NVMe | | CUDA | 12.8+ | 12.8+ | 12.8+ | | 实际上下文 | 32K–64K | 128K | 256K | **Clore.ai 选择：** 对于大多数智能体负载来说，单张 [RTX 4090（$0.14–0.42/小时）](https://clore.ai/rent-4090.html) 运行 INT4 GGUF 的性价比无可匹敌。如果你需要 FP8 质量或 128K+ 上下文，就升级到单张 H100。 *** ## 方案 A — Ollama / GGUF（量化，单 GPU） 这是大多数 Clore.ai 用户会选择的路径。社区 GGUF 通常会在 inclusionAI 发布后几天内出现在 HuggingFace 上。 {% hint style="warning" %} **首日提醒：** Ling-2.6-flash 于 2026 年 4 月 28 日发布。撰写时，GGUF 社区量化版本可能仍在陆续上传。关注 [huggingface.co/models?search=ling-2.6-flash+gguf](https://huggingface.co/models?search=ling-2.6-flash+gguf) 以及 [unsloth](https://huggingface.co/unsloth) 以获取首批构建版本。如果 `ollama pull` 返回 404，就直接让 llama.cpp 指向 GGUF 文件。 {% endhint %} ```bash # 一旦社区发布了 Q4_K_M 构建版本 docker exec ollama ollama pull ling-2.6-flash:q4_K_M docker exec ollama ollama run ling-2.6-flash:q4_K_M # 或者直接用 llama.cpp 运行已下载的 GGUF docker run --gpus all -it --rm -p 8080:8080 \ -v $(pwd)/models:/models \ ghcr.io/ggerganov/llama.cpp:server-cuda \ -m /models/ling-2.6-flash-q4_k_m.gguf \\ --n-gpu-layers 99 --ctx-size 32768 \\ --port 8080 --host 0.0.0.0 ``` 单张 RTX 4090 应可达到 **\~80–120 tok/s** 在 Q4\_K\_M 和 32K 上下文下——足够用于交互式智能体工作。 *** ## 方案 B — vLLM（生产 API） vLLM 是将 Ling-2.6-flash 提供给多个并发智能体的首选。请在单张 H100 / A100 80GB 上使用 FP8 检查点： ```yaml version: "3.8" services: vllm: image: vllm/vllm-openai:latest ports: - "8000:8000" volumes: - hf_cache:/root/.cache/huggingface command: > --model inclusionAI/Ling-2.6-flash-FP8 --tensor-parallel-size 1 --max-model-len 65536 --gpu-memory-utilization 0.90 --enable-auto-tool-choice --tool-call-parser hermes --served-model-name ling-2.6-flash --trust-remote-code deploy: resources: reservations: devices: - driver: nvidia 数量：1 capabilities: [gpu] shm_size: "16gb" volumes: hf_cache: ``` ```bash # 测试智能体路径 curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "ling-2.6-flash", "messages": [ {"role": "system", "content": "你是一个可以使用工具的智能体。先规划，再调用工具，然后回答。"}, {"role": "user", "content": "帮我找一下现在 Clore.ai 上最便宜的 RTX 4090。"} ], "tools": [{"type": "function", "function": {"name": "search_marketplace", "parameters": {"type":"object","properties":{"gpu":{"type":"string"}}}}}], "tool_choice": "auto", "max_tokens": 2048 }' ``` {% hint style="info" %} 如果要在长上下文（200K+）下获得 BF16 完整质量，请扩展到 `--tensor-parallel-size 2` 2× A100 80GB 或直接固定到单张 H200 141GB。 {% endhint %} *** ## 方案 C — SGLang（最大吞吐量推荐） 蚂蚁集团在官方 340 tok/s 基准中使用的就是 SGLang——混合线性注意力路径在 SGLang 运行时下最快。 ```bash docker pull lmsysorg/sglang:latest python3 -m sglang.launch_server \\ --model-path inclusionAI/Ling-2.6-flash-FP8 \\ --tp-size 1 \\ --tool-call-parser hermes \\ --mem-fraction-static 0.90 \ --context-length 65536 \\ --served-model-name ling-2.6-flash \\ --host 0.0.0.0 --port 30000 # 要复现厂商公布的 340 tok/s 数字（需要 4x H20 / H100 级别） python3 -m sglang.launch_server \\ --model-path inclusionAI/Ling-2.6-flash \\ --tp-size 4 \\ --mem-fraction-static 0.92 \\ --context-length 32768 \\ --served-model-name ling-2.6-flash ``` *** ## Clore.ai GPU 推荐 | 配置 | 显存 | 量化 | 预期吞吐量 | Clore.ai 成本 | | ---------------------------------------------------- | ----- | ----------- | --------------- | --------------------------------- | | 1× [RTX 3090](https://clore.ai/rent-3090.html) | 24GB | INT4 GGUF | \~60–90 tok/s | **$0.07–0.21/小时** | | 1× [RTX 4090](https://clore.ai/rent-4090.html) | 24GB | INT4 GGUF | \~80–120 tok/s | **$0.14–0.42/小时** | | 1× [A100 80GB](https://clore.ai/rent-a100-80gb.html) | 80GB | FP8 | \~120–180 tok/s | [裸机](https://clore.ai/bare-metal) | | 1× H100 80GB | 80GB | FP8 | \~150–220 tok/s | 约 $1.04/小时 | | 4× H100 80GB | 320GB | BF16 + TP=4 | \~340 tok/s（厂商） | 约 $4.16/小时 | {% hint style="success" %} **最佳性价比：** 一张 RTX 4090，按 $0.14–0.42/小时 租用，运行 Q4\_K\_M GGUF。你将得到一个面向智能体调优、MIT 许可、104B-MoE 的模型，拥有 32K 上下文，价格却低于每小时一杯咖啡。这正是 Clore.ai 面向消费级 GPU 的市场所为之打造的部署形态。 {% endhint %} *** ## 应用场景 * **工具调用型智能体** — BFCL-V4 和 TAU2-bench 的调优意味着结构化函数派发是强项，而不是事后补丁。 * **多步规划循环** — 能持续保持工具调用链，不会出现小模型常见的漂移。 * **本地 Claude Code / OpenHands 替代方案** — 在你自己的 RTX 4090 上即可直接使用 OpenAI 兼容 API。 * **高吞吐智能体批处理任务** — 在 4×H100 上 340 tok/s，使其足以每小时处理成千上万条智能体对话记录。 * **长上下文 RAG** — 256K 原生上下文足以在单个提示中覆盖大多数企业文档集。 * **廉价开发沙箱，用于** [**Ling-2.5-1T**](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) **工作流** — 先用 flash 原型验证，再部署到 1T 版本。 *** ## 基准 {% hint style="warning" %} **这是厂商声称——请独立核实。** 以下所有数字均来自 inclusionAI 于 2026 年 4 月 28 日发布的模型卡。该模型上线仅一天；社区对 BFCL-V4 和 TAU2-bench 的复现结果尚未发布。请将这些数字视为参考方向，而非金科玉律。 {% endhint %} | 基准 | Ling-2.6-flash（厂商） | 备注 | | ----------------------------- | ------------------ | ----------------------- | | BFCL-V4 | 在其尺寸级别上达到 SOTA | 伯克利函数调用排行榜 v4 | | TAU2-bench | 在其尺寸级别上达到 SOTA | 工具智能体基准 v2 | | SWE-bench Verified / Resolved | \~61.2% | 验证集上的解决率 | | MathArena AIME 2026 | 73.85 | | | MathArena HMMT 2026 年 2 月 | 49.29 | | | 吞吐量 | \~340 tok/s | 4× H20-3e，TP=4，batch 32 | *** ## 故障排查 | 问题 | 解决方案 | | ------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | `OutOfMemoryError` 在 RTX 4090 上 | 降级到 Q4\_K\_S 或 Q3\_K\_M；减少 `--ctx-size` 到 16384；关闭其他 GPU 进程 | | HuggingFace 上尚无 GGUF | 模型上线才一天。查看 [unsloth](https://huggingface.co/unsloth), [bartowski](https://huggingface.co/bartowski)，以及 [TheBloke](https://huggingface.co/TheBloke) 镜像；或者你也可以使用以下工具从 BF16 自行量化： `llama-quantize` | | vLLM 拒绝该架构 | 请确保使用 vLLM ≥ 0.7.x，并启用 `--trust-remote-code`；混合线性注意力层是自定义的 | | 工具调用以纯文本返回 | 设置 `--enable-auto-tool-choice --tool-call-parser hermes` 在 vLLM 中；SGLang 会自动处理 | | 长上下文预填充较慢 | 线性注意力存在预热开销；首次请求总是最慢。请使用 `--enable-chunked-prefill` 在 vLLM 中 | | 吞吐量远低于 340 tok/s | 厂商数字是在 4×H20、TP=4、batch 32 下测得。单 GPU + batch 1 自然会慢得多——这是预期表现，不是 bug。 | | 高温度下输出乱码 | 降到 `temperature=0.7` 用于聊天， `0.1` 用于工具调用 | *** ## 下一步 * **更大的兄弟型号：** [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md) — 同属一族，1T 总参数 / 63B 激活，多 GPU 成本下的前沿推理能力 * **类似的单 GPU 智能体模型：** [MiMo-V2-Flash](/guides/guides_v2-zh/yu-yan-mo-xing/mimo-v2-flash.md) — 309B/15B 激活，内置推测解码 * **开源权重编码替代方案：** [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) — 744B/40B 激活，SWE-Bench Pro 领先者 * **廉价 GPU 租赁：** [RTX 4090 租金低至 $0.14–0.42/小时](https://clore.ai/rent-4090.html) 或 [RTX 3090 租金低至 $0.07–0.21/小时](https://clore.ai/rent-3090.html) * **Clore.ai 市场：** [clore.ai/marketplace](https://clore.ai/marketplace) — 完整 GPU 目录，支持按需和现货定价 ### 链接 * [HuggingFace 上的 Ling-2.6-flash](https://huggingface.co/inclusionAI/Ling-2.6-flash) * [inclusionAI 组织](https://huggingface.co/inclusionAI) — 蚂蚁集团的开源 AI 实验室 * [SGLang 仓库](https://github.com/sgl-project/sglang) — 推荐的服务框架 * [vLLM 文档](https://docs.vllm.ai) * [BFCL-V4 排行榜](https://gorilla.cs.berkeley.edu/leaderboard.html) — Berkeley Function Calling --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/ling-26-flash.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.