DeepSeek V4（1.6T MoE，多模态）

在 Clore.ai 上部署 DeepSeek V4（1.6T 参数 Pro 和 284B Flash）——于 2026 年 4 月 22 日发布的开源前沿 MoE

状态（2026年4月29日）： DeepSeek V4 于 2026年4月22日 发布， 采用 MIT 许可的完全开放权重。现已上线两个检查点： deepseek-ai/DeepSeek-V4-Pro （总参数 1.6T / 约 490 亿激活，100 万上下文）以及 deepseek-ai/DeepSeek-V4-Flash （总参数 2840 亿 / 约 130 亿激活）。Pro 模型在首周就已突破 17.4 万次下载，并在 vLLM 和 SGLang 上实现了首日支持。

DeepSeek V4 是 2026 年首个以 双层发布. V4-Pro 作为旗舰——一款 1.6 万亿参数的混合专家模型 ，每个 token 约有 490 亿激活参数，配备 100 万 token 上下文窗口，并采用混合注意力设计，将压缩稀疏注意力与新的高压缩注意力头结合，用于低成本的长上下文预填充。 V4-Flash 是实用版兄弟型号—— 总参数 2840 亿 / 激活 130 亿，架构相同，量化后可运行在单张 80GB GPU 上，并可通过 Unsloth GGUF 构建在 2×48GB 设备上轻松运行。

其架构才是亮点。DeepSeek 的混合注意力在长上下文下大幅降低了 KV 缓存内存占用，而 MoE 路由器也经过重新训练以实现更精准的专家选择——早期独立运行报告显示，Pro 在大约一半激活参数计算量下即可达到 V3 级别的代码分数。对于 Clore.ai 用户来说，这很重要，因为 V4-Flash 是首个以完整权重发布的、激活参数低于 150 亿的前沿级模型，让真正的开源推理首次进入单张 H100 或廉价多张 4090 服务器的可及范围。

对大多数团队而言，现实中的 Clore 部署是 在 1× A100 80GB 或 2× RTX 4090 上运行 V4-Flash ——这就是最佳性价比所在。V4-Pro 则留给更严肃的基础设施：8× H100、4× H200 或 8× B200，最好配合 NVLink。如果你一直在运行 DeepSeek V3 或 DeepSeek-R1，迁移路径非常直接——同一模型家族、同一聊天模板、在 vLLM 上可直接替换。

关键规格

属性	DeepSeek V4-Pro	DeepSeek V4-Flash
总参数量	1.6T（MoE）	2840亿（MoE）
激活参数量	每个 token 约 490 亿	每个 token 约 130 亿
上下文窗口	1,000,000 个 token	256,000 个 token
注意力	压缩稀疏 + 高压缩注意力	压缩稀疏 + HCA
许可证	MIT	MIT
发布日期	2026年4月22日	2026年4月22日
HuggingFace	deepseek-ai/DeepSeek-V4-Pro	deepseek-ai/DeepSeek-V4-Flash
主要工具链	vLLM，SGLang（首日）	vLLM，SGLang，llama.cpp（Unsloth GGUF）

为什么选择 DeepSeek V4？

• 真正开放的前沿权重 —— MIT 许可、无使用限制、可完全商用

• Pro 版 100 万上下文，Flash 版 25.6 万上下文 —— 一次即可处理整个代码库、书籍或长达一小时的转录内容

• 混合稀疏注意力 —— KV 缓存随长上下文增长呈亚线性，预填充成本更低

• 双层发布 —— Flash 是首个足够优秀、可替代 V3 的 130 亿激活 MoE，适用于大多数工作流

• 首日支持 vLLM 和 SGLang —— 不用等社区补丁，直接 pip install -U 即可开始使用

• MoE 效率 —— 你支付的是 130 亿/490 亿的推理成本，而不是 2840 亿/1.6T

---

需求

V4-Pro 是一款前沿模型。 完整 BF16 权重约为 3.2TB，需要多节点 H100/H200 或 8× B200 NVLink。不存在单服务器 BF16 路径。如果你没有多节点基础设施，就运行 V4-Flash——它以 5% 的硬件成本提供约 80% 的质量。

组件	最低配置（V4-Flash，GGUF Q4）	推荐配置（V4-Flash FP8）	完整 V4-Pro（BF16）
GPU 显存	1× 80GB 或 2× 48GB	1× H100 80GB 或 1× A100 80GB	8× H100 80GB 或 4× H200 141GB
内存	64GB	128GB	1TB 以上
磁盘	200GB NVMe	600GB NVMe	4TB NVMe
CUDA	12.4+	12.6+	12.6+
网络	——	——	多节点需 NVLink / 400Gb IB

Clore.ai 选择： 对于 95% 的用户来说， 在单张 A100 80GB 上以 FP8 运行 V4-Flash 是最佳选择——完整 256K 上下文、无量化损失，在市场上每天大约只需 5–7 美元。只有当你真正需要 V4-Pro 的 100 万上下文或额外推理余量时，才考虑 H100 或 H200 张量并行方案。

---

选项 A —— Ollama / GGUF（量化，仅限 V4-Flash）

Unsloth 在发布后 48 小时内就为 V4-Flash 提供了 GGUF 量化版本。Q4_K_M 是最佳平衡点——可在 1×80GB 或 2×48GB 上运行，并且质量接近 FP8。

# 拉取 Unsloth 的 Q4_K_M 构建
docker exec ollama ollama pull hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M
docker exec ollama ollama run hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M

# 或者直接使用 llama.cpp 运行已下载的 GGUF
docker run --gpus all -it --rm -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/DeepSeek-V4-Flash-Q4_K_M.gguf \
  --n-gpu-layers 99 --ctx-size 65536 \
  --port 8080 --host 0.0.0.0

V4-Pro 存在 GGUF 量化，但并不实用——即使 Q2_K 也约有 400GB，而且卸载性能用于聊天场景无法使用。量化部署请坚持使用 Flash。

---

方案 B —— vLLM（生产 API，推荐）

vLLM 0.7.x 已为两个 V4 检查点添加首日支持。混合注意力内核需要 --trust-remote-code 以及 Hopper 或 Blackwell 硬件才能发挥全部速度。

在单张 H100 / A100 80GB 上运行 V4-Flash：

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model deepseek-ai/DeepSeek-V4-Flash
      --tensor-parallel-size 1
      --max-model-len 131072
      --dtype bfloat16
      --gpu-memory-utilization 0.92
      --enable-chunked-prefill
      --served-model-name deepseek-v4-flash
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

在 8× H100 上运行 V4-Pro： 将命令替换为：

    command: >
      --model deepseek-ai/DeepSeek-V4-Pro
      --tensor-parallel-size 8
      --max-model-len 262144
      --dtype bfloat16
      --gpu-memory-utilization 0.90
      --enable-chunked-prefill
      --enable-prefix-caching
      --served-model-name deepseek-v4-pro
      --trust-remote-code

# 测试 API
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4-flash",
    "messages": [{"role": "user", "content": "用 Rust 编写一个带优雅关闭的异步 TCP 回显服务器。"}],
    "max_tokens": 2048,
    "temperature": 0.6
  }'

从 --max-model-len 131072 开始，即使你最终想要完整的 100 万 ctx——长上下文会显著增加预填充时间和 KV 内存。只有在基线稳定后再提高。

---

选项 C —— SGLang（替代方案，在 Hopper 上通常更快）

SGLang 的 RadixAttention 和前缀缓存与 V4 的混合注意力配合得很好——对于共享提示词的智能体工作负载，预计 tok/s 会明显优于 vLLM。

docker pull lmsysorg/sglang:latest

# 在 1× H100/A100 上运行 V4-Flash
python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Flash \
  --tp-size 1 \
  --context-length 131072 \
  --mem-fraction-static 0.90 \
  --enable-torch-compile \
  --served-model-name deepseek-v4-flash \
  --trust-remote-code

# 在 8× H100 上运行 V4-Pro
python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Pro \
  --tp-size 8 \
  --context-length 262144 \
  --mem-fraction-static 0.88 \
  --enable-torch-compile \
  --served-model-name deepseek-v4-pro \
  --trust-remote-code

SGLang 的 --enable-torch-compile 通常在初始预热后可在 Hopper 上再提升 10–20% 吞吐量。

---

Clore.ai GPU 推荐

配置	模型	显存	预期吞吐量	Clore.ai 成本
2× RTX 4090 （Q4 GGUF）	V4-Flash	48GB	爱好者使用，单流	约 2–3 美元/天
1× A100 80GB （FP8）	V4-Flash	80GB	稳定的生产单租户	约 5–7 美元/天
1× RTX 5090 32GB（Q4 GGUF，部分卸载）	V4-Flash	32GB + 内存	受限，仅限开发	峰值约 3.94 美元/小时
4× H100 80GB	V4-Flash FP8（大材小用）或 V4-Pro Q4	320GB	多租户 Flash，单流 Pro	约 24–32 美元/天
8× H100 80GB	V4-Pro BF16	640GB	生产级前沿推理	约 48–64 美元/天
4× H200 141GB	V4-Pro BF16 + 100 万 ctx	564GB	完整 100 万上下文，最高吞吐量	约 32–48 美元/天

Clore.ai 上的最佳性价比： 1× A100 80GB 运行 V4-Flash FP8。你可获得 256K 上下文、约 130 亿激活的推理成本、无量化损失，而且账单大致相当于 Claude Sonnet API 订阅的价格——但权重保留在你自己的机器上。

---

使用场景

• 整个代码库推理 —— V4-Pro 的 100 万上下文可一次性容纳典型 50 万 LOC 的单体仓库及其测试

• 长文 RAG —— 将整本书、法院文件或年度报告直接放入上下文，跳过分块流水线

• 智能体编程 —— V4-Flash 在 SWE-Bench 上的表现接近 V3，而推理成本只是其一小部分；可与 SWE-agent 或 OpenHands 搭配

• 多文档综合 —— 以前需要 Gemini 2.5 Pro 的研究工作流，现在可以在你自己的硬件上运行

• 自托管 Cursor / Copilot 替代方案 —— 单张 A100 上的 V4-Flash 足以满足 5 人开发团队的需求

• 微调基础模型 —— MIT 许可 + 干净的 MoE 架构，使其成为领域微调的强大起点

---

基准测试

厂商宣称——请独立验证。 以下数字来自 DeepSeek 于 2026 年 4 月 22 日的公告和模型卡。独立复现仍在陆续发布；请将其视为方向性参考，而非绝对定论。

基准	V4-Pro	V4-Flash	DeepSeek V3	GLM-5.1
MMLU-Pro	~84%	~78%	~76%	~80%
SWE-Bench Verified	~82%	~74%	~70%	~79%
HumanEval	~96%	~92%	~91%	~94%
MATH-500	~94%	~88%	~85%	~90%
LiveCodeBench	~76%	~68%	~62%	~72%
长上下文（100 万针入草堆）	~98%	不适用	不适用	不适用

如需与其他开放权重模型做苹果对苹果的比较，请查看 GLM-5.1 指南 —— V4-Pro 和 GLM-5.1 会根据基准测试互有胜负。

---

故障排查

问题	解决方案
OutOfMemoryError 在 8×H100 上加载 V4-Pro	BF16 需要约 3.2TB——你无法把 Pro 放进单个 8×H100 节点。请使用 4× H200 141GB 或多节点。
不受支持的注意力后端	V4 需要 vLLM ≥ 0.7.0 或 SGLang ≥ 0.4.4。运行 pip install -U vllm （或者拉取 :latest Docker 镜像）。
HuggingFace 下载速度慢	使用 huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./weights --resume-download。Pro 约 3.2TB；Flash 约 570GB。
--trust-remote-code 被拒绝	混合注意力模块在仓库中作为自定义代码发布—— --trust-remote-code 在上游 Transformers 的内核落地之前，两个引擎都需要它。
GGUF Q4 输出胡言乱语	请确保你使用的是 Unsloth 构建（unsloth/DeepSeek-V4-Flash-GGUF），而不是早期社区量化版本。MoE 路由器需要特殊处理，早期量化版本在这方面做错了。
V4-Pro 的 100 万上下文发生 OOM	降到 --max-model-len 262144 并添加 --enable-prefix-caching。真正的 100 万上下文服务需要 H200 或 B200。
长上下文下预填充缓慢	这是预期行为——即便有混合注意力，50 万以上的预填充也要以分钟计，而不是秒。使用 --enable-chunked-prefill 和前缀缓存来摊薄成本。

---

下一步

• 前代： DeepSeek V3 —— V4-Flash 实际上替代的模型

• 推理兄弟型号： DeepSeek-R1 —— 经过思维链调优，对数学密集型工作流仍然很有用

• 开放权重替代方案： GLM-5.1 —— 744B MoE，SWE-Bench Pro 顶级，性价比相当

• 多模态替代方案： Qwen3.5-Omni —— 如果你需要同一个模型同时支持视觉/音频

• 租用硬件： Clore.ai 市场 —— H100/H200/A100/RTX 4090，低至 0.50 美元/天

链接

• HuggingFace 上的 DeepSeek-V4-Pro

• HuggingFace 上的 DeepSeek-V4-Flash

• Unsloth V4-Flash GGUF 量化版本

• DeepSeek GitHub

• vLLM 文档

• SGLang 仓库