Qwen3.8-27B（稠密 VLM，单卡）

在 Clore.ai 上部署 Qwen3.8-27B——阿里巴巴的稠密 27B 视觉语言模型，在 Q4 下可于单张 RTX 4090 上运行，在 FP8 下可于单张 RTX 5090 上运行

状态（2026年8月）： Qwen 发布 Qwen3.8-27B 于 2026年8月14日 在 Apache 2.0，并在一天后提供了官方 FP8 检查点。权重： Qwen/Qwen3.8-27B 以及 Qwen/Qwen3.8-27B-FP8。稠密 27B， 原生视觉-语言, 262,144 token 上下文 可扩展到 在 YaRN 下可达 1M，并在 vLLM、SGLang 和 llama.cpp 中实现首日支持。

今年夏天发布的大多数模型都无法租用。GLM-5.2 的 FP8 体积是 756GB。MiniMax M3 是 854GB。Kimi K3 为 1.5TB，而且无论采用何种量化方式，都无法在 Clore.ai 上列出的任何机器上运行。Qwen3.8-27B 则是反向平衡： 27B 稠密参数，Q4 下 15.4GB，一张卡，一个容器，搞定。 它才是这个市场真正适配的模型——在最近一次快照中，有 677 台服务器空闲着一张 24GB 或更高显存的卡。

它也不是阉割版模型。它原生支持图像和视频，并提供一个 reasoning_effort 调节项，而其混合注意力栈使 KV 缓存足够小，因此在消费级显卡上跑长上下文是现实可行的，而不是理论上的。

关键规格

属性	数值
参数	27B（稠密）
架构	64 层，混合 Gated DeltaNet + Gated Attention，MTP
模态	文本、图像、视频输入 → 文本输出
原生上下文	262,144 个 token
扩展上下文	1,000,000 个 token（YaRN）
许可证	Apache 2.0
发布日期	2026年8月14日
权重	BF16 55.6GB · FP8 30.9GB · Q4_K_S GGUF 15.4GB
主要工具链	vLLM、SGLang、llama.cpp、Ollama

为什么选它

• 能装下。 Q4 在单张 RTX 3090 或 4090 上 $0.07–0.42/小时；FP8 可在 RTX PRO 6000 或 2×24GB 卡上运行

• Apache 2.0 ——可商用、可微调、可再分发，且没有收入门槛；这不同于 Kimi K3（带收入门槛的定制许可）或 MiniMax M3（社区许可）

• 混合注意力 ——每 4 个层块中有 3 个是 Gated DeltaNet（线性注意力），因此 KV 缓存随上下文增长的速度比标准 Transformer 慢得多。这正是 24GB 显卡上 10 万以上上下文可用的原因。

• 内置视觉 ——图表、文档、截图和小时级视频，无需单独部署 VLM

• 思考控制 — reasoning_effort 在 低 / 中型 / xhigh，以及 preserve_thinking 用于在代理中跨轮次保留推理

---

需求

一张卡就是全部要点。 单张 RTX 4090 在 Q4 下，就能让你以大约每天一杯咖啡的价格，拥有一个前沿级视觉语言模型。只有当你想要 FP8 质量或更长上下文时，才升级到 RTX 5090 或 RTX PRO 6000。

	Q4_K_S GGUF	Q8 / FP8	BF16
权重	15.4GB	约 31GB	55.6GB
GPU	1× RTX 3090/4090 24GB	1× RTX PRO 6000 96GB，或 2× RTX 5090	2× RTX PRO 6000，或 4× RTX 5090
实际可用上下文	约 64K	约 200K	完整 262K
系统内存	32GB	64GB	96GB
磁盘	25GB	45GB	80GB
CUDA	12.8+	12.8+	12.8+

单张 RTX 5090（32GB）不足以运行 FP8。 仅权重就有 30.9GB。你还需要给 KV 缓存和激活保留余量，所以 FP8 需要一张 96GB 显卡或两张 GPU。在单张 5090 上，运行 Q6 或 Q4 —— 见 CUDA 与 PyTorch 兼容性 在 Blackwell 上合适的基础镜像。

---

方案 A — Ollama（最快路径）

ollama pull qwen3.8:27b
ollama run qwen3.8:27b

# OpenAI 兼容端点
ollama serve &
curl http://localhost:11434/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "qwen3.8:27b",
    "messages": [{"role": "user", "content": "分步骤规划迁移。"}],
    "temperature": 0.7
  }'

默认标签是 Q4_K_M（约 16GB）。如果你租了一张 96GB 显卡，请使用 qwen3.8:27b-q8_0 。

---

方案 B — vLLM（生产环境）

单张 24GB 显卡，社区 INT4 AWQ 检查点：

# docker-compose.yml
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports: ["8000:8000"]
    volumes: [hf_cache:/root/.cache/huggingface]
    command: >
      --model cyankiwi/Qwen3.8-27B-AWQ-INT4
      --max-model-len 65536
      --gpu-memory-utilization 0.92
      --served-model-name qwen3.8-27b
      --enable-auto-tool-choice
      --tool-call-parser hermes
    deploy:
      resources:
        reservations:
          devices: [{driver: nvidia, count: 1, capabilities: [gpu]}]
    shm_size: "8gb"
volumes:
  hf_cache:

Qwen 官方只提供 BF16 和 FP8。4 位检查点都是社区构建—— cyankiwi/Qwen3.8-27B-AWQ-INT4 以及 RedHatAI/Qwen3.8-27B-INT4 是下载量最高的，且 unsloth/Qwen3.8-27B-NVFP4 专门针对 Blackwell 显卡。

跨两张 GPU 的 FP8：

vllm serve Qwen/Qwen3.8-27B-FP8 \\
  --tensor-parallel-size 2 \\
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \\
  --enable-chunked-prefill

视频输入需要额外一个标志：

vllm serve Qwen/Qwen3.8-27B --media-io-kwargs '{"video": {"num_frames": -1}}'

用 YaRN 突破原生窗口：

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve Qwen/Qwen3.8-27B \\
  --hf-overrides '{"text_config": {"rope_parameters": {"rope_type": "yarn", "factor": 4.0, "original_max_position_embeddings": 262144}}}' \\
  --max-model-len 1000000

---

方案 C — llama.cpp / GGUF（24GB 显卡）

# Q4_K_S — 15.4GB，在 24GB 显卡上很宽松
huggingface-cli download unsloth/Qwen3.8-27B-GGUF \\
  --include "*UD-Q4_K_S*" --local-dir /workspace/qwen38

llama-server -m /workspace/qwen38/*UD-Q4_K_S*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 -c 65536 --flash-attn

同一仓库里更小的量化版本，适合更紧张的显卡： UD-Q3_K_XL 13.1GB， UD-Q2_K_XL 9.8GB， UD-IQ2_S 8.4GB。

---

推理强度

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

resp = client.chat.completions.create(
    model="qwen3.8-27b",
    messages=[{"role": "user", "content": "分步骤规划迁移。"}],
    extra_body={"reasoning_effort": "xhigh"},   # xhigh（默认）| medium | low
)

降到 低 用于分类、抽取和路由——这类任务的质量差异很小，而 token 费用只是其中一小部分。保留 xhigh 用于代理和多步代码工作。

---

Clore.ai GPU 推荐

配置	显存	模式	上下文	Clore.ai 成本
1× RTX 3090	24GB	Q4 GGUF	约 64K	$0.07–0.21/小时
1× RTX 4090	24GB	Q4 AWQ	约 64K	$0.14–0.42/小时
1× RTX 5090	32GB	Q6 GGUF	约 96K	$0.25–0.77/小时
2× RTX 5090	64GB	FP8，TP=2	约 200K	$0.50–1.54/小时
1× RTX PRO 6000	96GB	FP8	完整 262K	$0.92–1.38/小时
4× RTX 5090	128GB	BF16，TP=4	完整 262K	$1.00–3.08/小时

最佳性价比： 一张 RTX 4090 起价 $0.14/小时 在 Q4 下。如果整机价格看起来偏高，记住大多数多 GPU 机器都允许 部分租用 ——你可以从八卡机箱里拿走一张卡。

---

基准

下面的数字均来自 Qwen 在 2026 年 8 月 14 日模型卡中的数据。撰写本文时，独立复现结果仍在陆续出现。

Qwen 使用 Claude Code harness 在 256K 上下文下，将 27B 与更大的模型在代码和 agent 套件（SWE-bench Pro、DeepSWE、QwenSWEBench）上进行评测。部署时真正重要的主张不是某一个单项分数：而是一个跑在单张消费级显卡上的稠密 27B，能和那些需要整机架的 MoE 模型坐在同一张桌子上讨论。把厂商表格当作起点假设，并在你自己的任务集上做基准测试——在这里这很便宜，因为 4090 跑一小时大约只要二十美分。

---

应用场景

• 单 GPU 编码助手 ——一个容器，一张卡，一个 OpenAI 兼容端点

• 文档和截图理解 ——原生视觉，无需单独流水线

• 视频分析 ——借助 vLLM 的帧标志，可一次性处理小时级视频

• 长上下文 RAG ——原生 262K，且混合注意力让 KV 缓存保持可负担

• 代理工作器 — preserve_thinking 在工具调用之间保持推理一致

• 本地部署和离线隔离环境 ——Apache 2.0，不会向外联络

• LoRA 微调 ——27B 稠密模型很适合 Unsloth 以及 LLaMA-Factory 在单张 24GB 显卡上

---

故障排查

问题	修复
没有可用的内核映像 在 5090 上	旧版 CUDA 构建——请使用 cu128 镜像，见 兼容性
在单张 RTX 5090 上 FP8 发生 OOM	预期：32GB 显卡上有 30.9GB 权重。请使用 Q6/Q4，或 TP=2
24GB 上长上下文发生 OOM	将 --max-model-len 到 32768，或降到 UD-Q3_K_XL
YaRN 被拒绝	需要较新的 vLLM/SGLang；请通过 --hf-overrides传入，而不是作为独立标志
视频输入被忽略	在 --media-io-kwargs '{"video": {"num_frames": -1}}' （仅 vLLM）
工具调用丢失	--enable-auto-tool-choice --tool-call-parser hermes
质量在约 600K 之后下降	YaRN 扩展的是位置，不是理解能力——请把关键内容放在提示词末尾附近

---

下一步

• 前代： Qwen3.6-27B ——替代今年 4 月那版稠密 27B

• 多模态兄弟型号： Qwen3.5-Omni ——增加音频输入和语音输出

• 升级： GLM-5.2 或 Mistral Small 4 当 27B 还不够时

• 服务： vLLM · SGLang · Ollama

• 微调： Unsloth

链接

• Hugging Face 上的 Qwen3.8-27B · FP8 · GGUF

• vLLM 配置示例 · SGLang 代码示例

• Qwen 博客

• 租用 GPU： RTX 4090 · RTX 5090 · 市场