> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/qwen36-27b.md). # Qwen3.6-27B（稠密，单 GPU） 在 Clore.ai 上部署阿里巴巴的 Qwen3.6-27B——一款可运行于单张 RTX 4090 的稠密 27B 模型，附带原生 262K 上下文 {% hint style="info" %} **状态（2026年4月）：** Qwen3.6-27B 由阿里巴巴于 **2026年4月21日** 在以下许可证下发布： **Apache 2.0** 。权重位于 [huggingface.co/Qwen/Qwen3.6-27B](https://huggingface.co/Qwen/Qwen3.6-27B)。它是一个 **稠密** 27B 模型——不是 MoE——具有 **262K token 原生上下文** ，并可扩展到 **借助 YaRN 达到 1M token**，并且在 vLLM、SGLang 和 Ollama 上都提供开箱即用的 Day-0 支持。 {% endhint %} 2026 年的 MoE 巨头——DeepSeek V4、GLM-5.1、MiMo-V2.5-Pro——在基准测试上很亮眼，但在实际使用中却很折磨人：数百 GB 的权重、多 GPU 机架、脆弱的专家路由内核，以及让财务团队皱眉的推理账单。Qwen3.6-27B 走的是相反路线。它是 **稠密**，每个 token 都会激活所有参数，显存需求可精确到 GB 级，而且当上下文超过 8K 时不会出现专家路由带来的意外。 对于大多数团队来说，问题不是“我们能不能服务一个 744B 的 MoE”——而是“我们能不能在集群里放一张好卡，并在上面提供一流的代码助手？”Qwen3.6-27B 正是为此而生。Q4 可适配单张 **RTX 4090 24GB**，Q8 可适配单张 **RTX 5090 32GB**，BF16 可适配单张 **L40S 48GB** 或 **A100 40GB**，而阿里巴巴正在发布 **SWE-Bench Verified 上 77.2%** （厂商声称）。一张卡、一个容器、一个模型。 ### 关键规格 | 属性 | 数值 | | ----- | ---------------------------- | | 参数 | 27B（稠密） | | 架构 | 稠密解码器-only Transformer | | 原生上下文 | 262,144 个 token | | 扩展上下文 | 1,000,000 个 token（YaRN） | | 许可证 | Apache 2.0 | | 发布日期 | 2026年4月21日 | | 组织 | 阿里巴巴（Qwen 团队） | | 主要工具链 | vLLM、SGLang、Ollama、llama.cpp | ### 为什么选择 Qwen3.6-27B？ * **单 GPU 成本效益** —— 在 Clore.ai 上的 RTX 4090 Q4 只需 **$0.14–0.42/小时** ；无需调试张量并行编排 * **稠密，而非 MoE** —— 显存固定、没有专家热点、也没有某些提示下的延迟尖峰 * **Apache 2.0** —— 完全可商用、可微调、可再分发、无使用上限 * **262K 原生上下文，借助 YaRN 可达 1M** —— 一次即可处理整个代码库、整本书、数小时的转录文本 * **Day-0 vLLM / SGLang / Ollama** —— 选择你的服务栈；Qwen 在发布时就为三者都提供了配置 * **77.2% SWE-Bench Verified** （厂商声称）—— 在真实编码任务上可与更大的 MoE 模型竞争 *** ## 需求 {% hint style="success" %} **核心在于，这个模型非常宽容。** 在 Clore.ai 市场上，一张 RTX 4090 就足以以生产级质量（Q4）运行 Qwen3.6-27B，或者以“对大多数用例足够好”的速度运行。无需多 GPU 麻烦。 {% endhint %} | 组件 | Q4（GGUF / AWQ） | Q8（GGUF / GPTQ） | BF16 | 完整 FP16 | | ---- | ---------------- | ---------------- | --------------------------- | ---------------- | | GPU | 1× RTX 4090 24GB | 1× RTX 5090 32GB | 1× L40S 48GB 或 1× A100 40GB | 1× A100 80GB | | 已用显存 | \~16–18GB | \~28–30GB | \~54GB | \~54GB + KV 缓存余量 | | 内存 | 32GB | 32GB | 64GB | 96GB | | 磁盘 | 20GB NVMe | 32GB NVMe | 60GB NVMe | 60GB NVMe | | CUDA | 12.8+ | 12.8+ | 12.8+ | 12.8+ | **Clore.ai 选择：** 对于 90% 的团队来说，单张 **RTX 4090 24GB** 运行 Q4（AWQ 或 GGUF）才是正确答案。你能以每天几杯咖啡的价格获得一流的编码能力。如果你想要 Q8 以获得稍好的质量，就升级到 RTX 5090 32GB；如果要完整 BF16 生产推理，则升级到 L40S / A100 40GB。 *** ## 选项 A——Ollama（量化版，最简单） Ollama 是从“我有一块 Clore.ai GPU”到“我有一个聊天接口”的最快路径。 ```bash # 拉取 Qwen3.6-27B（默认 Q4_K_M，下载约 17GB） ollama pull qwen3.6:27b # 交互式运行 ollama run qwen3.6:27b # 或公开 OpenAI 兼容 API ollama serve & curl http://localhost:11434/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "qwen3.6:27b", "messages": [ {"role": "system", "content": "你是一名资深 Go 工程师。"}, {"role": "user", "content": "重构这个处理器，使其正确使用 context.Context，并添加指数退避重试。"} ], "temperature": 0.6 }' ``` {% hint style="info" %} 默认的 `qwen3.6:27b` 标签在 Ollama 中映射到 Q4\_K\_M。若你有 RTX 5090，可使用 `qwen3.6:27b-q8_0` 用于 Q8，或者使用 `qwen3.6:27b-fp16` 用于全精度（需要 A100 80GB）。 {% endhint %} *** ## 选项 B——vLLM（生产环境） vLLM 是推荐的生产服务器。下面的单 GPU 配置面向使用 AWQ 量化的 RTX 4090。多 GPU 部分仅为完整性保留——但对于一个 27B 稠密模型来说，你几乎不需要它。 ```yaml # docker-compose.yml —— 单张 RTX 4090，Q4 AWQ version: "3.8" services: vllm: image: vllm/vllm-openai:latest ports: - "8000:8000" volumes: - hf_cache:/root/.cache/huggingface command: > --model Qwen/Qwen3.6-27B-Instruct-AWQ --quantization awq --max-model-len 65536 --gpu-memory-utilization 0.92 --served-model-name qwen3.6-27b --enable-auto-tool-choice --tool-call-parser hermes deploy: resources: reservations: devices: - driver: nvidia 数量：1 capabilities: [gpu] shm_size: "8gb" volumes: hf_cache: ``` ```bash # 测试 API curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "qwen3.6-27b", "messages": [ {"role": "user", "content": "用 3 个要点解释 MoE 和稠密模型的区别。"} ], "max_tokens": 512, "temperature": 0.7 }' ``` 要获得完整 **BF16** 在单张 L40S 48GB 或 A100 40GB 上，请删除 `--quantization awq` 并指向基础检查点（`Qwen/Qwen3.6-27B-Instruct`, `--dtype bfloat16`, `--max-model-len 131072`）。若使用 2× RTX 4090 并启用张量并行（更长上下文、更大 KV 缓存），请添加 `--tensor-parallel-size 2`. *** ## 选项 C — SGLang 当你使用 YaRN 将原生 262K 窗口向外扩展时，SGLang 表现出色。传入 `--rope-scaling` 即可扩展到约 1M token。 ```bash docker pull lmsysorg/sglang:latest # 单 GPU，原生 262K 上下文 python3 -m sglang.launch_server \\ --model-path Qwen/Qwen3.6-27B-Instruct \ --quantization awq \ --context-length 262144 \ --mem-fraction-static 0.90 \ --served-model-name qwen3.6-27b # 通过 YaRN 扩展到 1M token（需要更多显存余量） python3 -m sglang.launch_server \\ --model-path Qwen/Qwen3.6-27B-Instruct \ --dtype bfloat16 \\ --context-length 1000000 \ --json-model-override-args '{"rope_scaling":{"type":"yarn","factor":4.0,"original_max_position_embeddings":262144}}' \ --mem-fraction-static 0.85 ``` {% hint style="warning" %} **1M 上下文的成本增长很快。** 即使使用 YaRN，BF16 下 1M token 的 KV 缓存大约也需要 **40–60GB** ，具体取决于批量大小。如果你真的打算填满这个窗口，请准备 A100 80GB 或 H100。 {% endhint %} *** ## Clore.ai GPU 推荐 | 配置 | 显存 | 模式 | 预期性能 | Clore.ai 成本 | | -------------------- | ---- | ----------- | -------------------- | --------------------------------- | | **1× RTX 4090 24GB** | 24GB | Q4 AWQ | 50–80 tok/s，64K ctx | **$0.14–0.42/小时** | | 1× RTX 5090 32GB | 32GB | Q8 GPTQ | 60–90 tok/s，96K ctx | $0.25–0.77/小时 | | 1× L40S 48GB | 48GB | BF16 | 35–55 tok/s，131K ctx | \~$0.50/小时 | | 1× A100 40GB | 40GB | BF16 | 40–60 tok/s，96K ctx | [裸机](https://clore.ai/bare-metal) | | 1× A100 80GB | 80GB | FP16 + 262K | 40–60 tok/s，完整原生上下文 | [裸机](https://clore.ai/bare-metal) | | 2× RTX 4090 | 48GB | BF16 TP=2 | 60–80 tok/s，262K ctx | $0.28–0.84/小时 | {% hint style="success" %} **性价比最高，遥遥领先：** [1× RTX 4090，$0.14–0.42/小时](https://clore.ai/rent-4090.html) 通过 Ollama 或 vLLM 运行 Q4 AWQ。你只需一张消费级显卡，就能获得一款一流的编码模型，每天的费用比 Claude Pro 订阅还低。 {% endhint %} *** ## 应用场景 * **单 GPU 生产部署** —— 在一张 Clore.ai 4090 上跑一个容器，你就拥有了一个真正的编码助手 * **编码智能体** —— 77.2% SWE-Bench Verified（厂商声称）使其处于“可用于自动 PR”的级别 * **长上下文 RAG** —— 262K 原生上下文足以容纳整个代码库或数周的聊天日志 * **1M token 分析** —— 借助 YaRN，你可以把整本书或数月的 git 日志一次性放进一个提示词里 * **本地部署 / 断网环境** —— 产品自带 Apache 2.0 许可证，无需依赖 API * **边缘侧微调** —— 27B 稠密模型非常适合单卡上的 LoRA/QLoRA * **作为 agents-of-agents 中的工作者** —— 可作为工作者与更大的 MoE 规划器配对，例如 [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) *** ## 基准 {% hint style="warning" %} **这是厂商声称——请独立核实。** 下面的数字来自阿里巴巴 2026 年 4 月 21 日的发布文章。独立复现结果（Aider、BigCodeBench、LiveCodeBench 排行榜）仍在陆续出现。 {% endhint %} | 基准 | Qwen3.6-27B | Qwen3.5-35B | Gemma 3 27B | Llama 4 Scout | | ------------------ | ----------- | ----------- | ----------- | ------------- | | SWE-Bench Verified | **77.2%** | \~71% | \~58% | \~54% | | HumanEval | \~93% | \~92% | \~90% | \~88% | | LiveCodeBench | \~68% | \~65% | \~55% | \~52% | | MMLU-Pro | \~78% | \~76% | \~74% | \~72% | | MATH | \~87% | \~85% | \~78% | \~76% | 最亮眼的数据是 **SWE-Bench Verified 77.2%** —— 这让单 GPU 稠密模型进入了此前只属于多 GPU MoE 系统的领域。在 LMSYS / Aider 板块确认之前，请先将其视为厂商声明。 *** ## 故障排查 | 问题 | 解决方案 | | --------------------------- | ---------------------------------------------------------------- | | RTX 4090 上 OOM（Q4） | 将 `--max-model-len` 到 32768；在 65K ctx 下，AWQ 已经接近 24GB 的极限 | | `qwen3.6:27b` 在 Ollama 中找不到 | 请更新 Ollama；该标签于 2026 年 4 月下旬上线 | | YaRN 配置被 vLLM 拒绝 | 需要 vLLM ≥ 0.7.x；通过 `--rope-scaling` JSON 传入，而不是单独的标志位 | | 工具调用被静默丢弃 | 在 `--enable-auto-tool-choice --tool-call-parser hermes` 在 vLLM 中 | | 长上下文预填充缓慢 | 在 `--enable-chunked-prefill` 并减小批量大小 | | 262K 时 KV 缓存 OOM | 降到 Q8，或迁移到 L40S 48GB / A100 80GB | | 接近 1M ctx 时质量变差 | YaRN 扩展了位置，但在约 600K 之后质量会下降；把关键内容放在靠后位置 | *** ## 下一步 * **前代：** [Qwen3.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md) —— Qwen3.6-27B 是稠密后继者；同一系列、更强的编码能力、更长的原生上下文 * **多模态兄弟型号：** [Qwen3.5-Omni](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35-omni.md) —— 如果你需要的不只是文本，还有文本 + 音频 + 图像 + 视频 * **同级别稠密 27B：** [Gemma 3](/guides/guides_v2-zh/yu-yan-mo-xing/gemma3.md) —— Google 的 27B 稠密竞品，适合作为基准对比 * **MoE 替代方案：** [Llama 4 Scout](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md) —— 单 GPU MoE，适合比较架构差异 * **前沿 MoE 升级：** [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) —— 当 27B 稠密不够用且你有多 GPU 预算时 ### 链接 * [HuggingFace 上的 Qwen3.6-27B](https://huggingface.co/Qwen/Qwen3.6-27B) * [Qwen GitHub](https://github.com/QwenLM/Qwen) * [Qwen 博客](https://qwenlm.github.io/) * [vLLM 文档](https://docs.vllm.ai) * [SGLang 仓库](https://github.com/sgl-project/sglang) * [Ollama 库](https://ollama.com/library/qwen3.6) * **租用 GPU：** [RTX 4090，$0.14–0.42/小时](https://clore.ai/rent-4090.html) · [RTX 5090 32GB](https://clore.ai/rent-5090.html) · [市场](https://clore.ai/marketplace) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/qwen36-27b.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.