Gemma 4（26B MoE，4B 活跃）

在 Clore.ai 上部署 Google 的 Gemma 4（26B MoE，4B 活跃）——2026 年 4 月发布的开源权重模型，迅速攀升至

状态（2026年4月）： Gemma 4 于发布 2026年4月2日 由 Google 作为 Gemma 开放权重家族的下一代发布。随附两个变体：一个 31B 稠密 模型（google/gemma-4-31b-it）和一个 26B MoE，约 4B 激活参数 (google/gemma-4-26b-it）。两者均依据标准 Gemma 使用条款 在 huggingface.co/google/gemma-4-26b-it 以及 huggingface.co/google/gemma-4-31b-it.

Gemma 4 是 Google 在 Gemma 系列中的首个 MoE 版本，也是首个进入 LMSYS Arena 前列的 Gemma 发布版本（厂商报告称 发布时综合排名第 3，在事实性和指令遵循方面略胜多款闭源模型）。头条数字是 MoE 变体： 总参数 26B，每个 token 约激活 4B，这让你以小型稠密模型的推理成本获得接近前沿的指令遵循能力。

对于 Clore.ai 用户，实际结论很简单——26B MoE 可轻松运行在单个 RTX 4090（24GB） ，使用 FP8 或 4-bit 量化（约 10 tok/s），并且在单个 H100 80GB （约 40+ tok/s）上达到生产级吞吐，让接近 Gemma 质量的指令遵循能力以市场上约 1.04 美元/小时的价格触手可及。31B 稠密变体则是能力更强但更昂贵的兄弟版本，部署时需要 2× RTX 4090 或 1× H100。

主要特性

• MoE 架构（26B 变体） — 总参数 26B，每个 token 约激活 4B；以 4B 级推理成本获得 26B 级质量

• 稠密备用方案（31B 变体） — 适合偏好稠密推理可预测性和工具成熟度的团队

• 128K 上下文窗口 — 长文档问答、中等规模代码库上的 RAG、多轮智能体循环

• 强指令遵循 — Gemma 4 明确针对工具使用、结构化输出和忠实遵循约束进行了优化

• 多语言 — 延续 Gemma 3 的完整多语言覆盖，并扩展了非英语基准套件

• 开放权重，Gemma 条款 — 大多数商业用途可免费使用；请查看 Gemma 禁止使用政策 后再发布

• 一流工具支持 — 在 vLLM、SGLang、Ollama 和 Hugging Face Transformers 中开箱即用

选择你的变体

变体	总参数量	激活	上下文	推荐量化	推荐的 Clore GPU
Gemma 4 26B MoE (gemma-4-26b-it)	26B	每个 token 约 4B	128K	FP8 或 4-bit GPTQ	1× RTX 4090 （24GB，量化后）
Gemma 4 31B 稠密 (gemma-4-31b-it)	31B	31B（全部）	128K	FP8 或 BF16	1× H100 （80GB，BF16）

实用选择： 对于 90% 的单 GPU 部署，选择 采用 FP8 的 Gemma 4 26B MoE。你可以在 4090 上以约 10–15 tok/s、在 H100 上以约 40+ tok/s 获得顶级 Arena 质量，而且无需承担 31B 稠密推理的延迟成本。

---

服务器要求

组件	26B MoE（4-bit，4090）	26B MoE（FP8，H100）	31B 稠密（BF16，H100）
GPU 显存	24GB	80GB	80GB
系统内存	32GB	64GB	64GB
磁盘	60GB NVMe	80GB NVMe	90GB NVMe
网络	用于 HF 拉取的 100 Mbps	优选 1 Gbps	优选 1 Gbps
CUDA	12.8+	12.8+	12.8+
驱动程序	550+	555+	555+

在静态权重占用之外，预留额外约 20% 的显存余量以覆盖长上下文的 KV 缓存。设置 --gpu-memory-utilization 0.90 在 vLLM 中是一个不错的默认值。

---

在 CLORE.AI 上快速部署

最快路径：租一块单 GPU，拉取标准 vllm/vllm-openai 镜像，并通过兼容 OpenAI 的 API 提供模型服务。下面是本指南其余部分使用的 docker-compose 布局——请根据你上面选择的变体调整模型名称和张量并行大小。

选项 A — 单 GPU 上的 Gemma 4 26B MoE（vLLM，FP8）

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    environment:
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model google/gemma-4-26b-it
      --quantization fp8
      --max-model-len 32768
      --gpu-memory-utilization 0.90
      --served-model-name gemma-4-26b
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              数量：1
              capabilities: [gpu]
    shm_size: "8gb"

volumes:
  hf_cache:

# 启动它
HF_TOKEN=hf_xxx docker compose up -d

# 在权重下载时跟踪日志
docker compose logs -f vllm

许可门槛： Hugging Face 上的 Gemma 模型要求每个账号接受一次 Google 的条款。请在浏览器中访问模型页面，点击“确认许可”，然后导出 HF_TOKEN 这样容器才能拉取权重。

选项 B — H100 上的 Gemma 4 31B 稠密（vLLM，BF16）

docker run --gpus all -p 8000:8000 \\
  -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  --ipc=host \
  vllm/vllm-openai:latest \
  --model google/gemma-4-31b-it \
  --dtype bfloat16 \\
  --max-model-len 32768 \\
  --gpu-memory-utilization 0.90 \\
  --served-model-name gemma-4-31b

选项 C — 在 2× RTX 4090 上运行 Gemma 4 31B 稠密（FP8，张量并行）

docker run --gpus all -p 8000:8000 \\
  -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  --ipc=host \
  vllm/vllm-openai:latest \
  --model google/gemma-4-31b-it \
  --quantization fp8 \\
  --tensor-parallel-size 2 \\
  --max-model-len 16384 \\
  --gpu-memory-utilization 0.90 \\
  --served-model-name gemma-4-31b

选项 D — 使用 Ollama 快速本地测试

对于笔记本级别的试验，Ollama 封装了 GGUF 社区构建版本。预计量化版本会在官方发布后几天上线。

# 一旦社区 GGUF 发布
ollama pull gemma4:26b-moe-q4_k_m
ollama run gemma4:26b-moe-q4_k_m

# 在 :11434 上提供兼容 OpenAI 的 API
curl http://localhost:11434/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "gemma4:26b-moe-q4_k_m",
    "messages": [{"role":"user","content":"用两句话总结 MoE 路由方法。"}]
  }'

请参阅 Ollama 指南 以获取通用设置、模型管理和持久化建议。

---

使用示例

vLLM 容器在以下地址提供兼容 OpenAI 的 API： :8000。任何支持 OpenAI chat-completions 模式的客户端都可以直接使用。

Curl 聊天补全

curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "gemma-4-26b",
    "messages": [
      {"role": "system", "content": "你是一位严谨的技术写作者。"},
      {"role": "user", "content": "请用三句话解释 MoE 路由，不要使用类比。"}
    ],
    "max_tokens": 512,
    "temperature": 0.7
  }'

Python（OpenAI 客户端）

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="gemma-4-26b",
    messages=[
        {"role": "system", "content": "你用纯文本回答，不要使用 markdown。"},
        {"role": "user", "content": "请给我一份针对 Go HTTP 处理器的 5 条代码审查检查清单。"},
    ],
    temperature=0.7,
    max_tokens=1024,
)
print(resp.choices[0].message.content)

流式响应

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

stream = client.chat.completions.create(
    model="gemma-4-26b",
    messages=[{"role": "user", "content": "写一首关于分布式推理的俳句。"}],
    stream=True,
    max_tokens=128,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)
print()

Hugging Face Transformers（离线使用）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "google/gemma-4-26b-it"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True,  # 可将该 MoE 装入单张 24GB 显卡
)

messages = [
    {"role": "user", "content": "请重构这个 Python 函数以提高可读性：\n\ndef f(x): return [i for i in x if i%2==0 and i>10]"},
]
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output = model.generate(input_ids, max_new_tokens=512, do_sample=True, temperature=0.7)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))

---

性能提示

• 在 Hopper 上使用 FP8。 在 H100 上，FP8 检查点的显存占用大约只有 BF16 的一半，而在指令遵循任务上没有可测量的质量损失。将 --quantization fp8 传给 vLLM。

• 在 Ada（RTX 4090）上使用 4-bit GPTQ。 对于单张 4090 上的 MoE 变体，社区 GPTQ 4-bit 构建是实用的最佳选择——预计约 10–15 tok/s。Ollama 的 Q4_K_M GGUF 构建可提供相近质量，同时运维更简单。

• 31B 稠密的张量并行。 在 2× RTX 4090 上，传入 --tensor-parallel-size 2。将上下文固定为你实际需要的长度（--max-model-len 16384）——上下文每翻倍一次，KV 缓存占用大约也会翻倍。

• MoE 的专家并行。 在 26B MoE 的多 GPU 配置中，vLLM 的 --enable-expert-parallel 在更高批大小下可显著提升吞吐量。对于单 GPU 来说则有些过度。

• 用于长上下文的分块 prefill。 当超过 32K 时，添加 --enable-chunked-prefill 到 vLLM 中。这样可以保持 prefill 延迟可控，并防止 decode 路径卡顿。

• 预先拉取权重。 对于临时的 Clore 租用，请在以下路径挂载持久卷： /root/.cache/huggingface 这样后续运行就能跳过 50–60GB 的下载。

• 选择合适的服务后端。 vLLM 是稳妥的默认选择。SGLang 在 Hopper 上通常更适合高并发工作负载；请参阅 vLLM 指南 以获取更全面的比较。

---

基准

厂商公布的数据——独立验证仍在进行中。 以下数据来自 Google 2026 年 4 月 2 日的发布材料。针对私有评测的独立复现仍在陆续出现。请将 Arena 排名和事实性得分视为方向性参考，而非绝对值。

基准	Gemma 4 26B MoE	Gemma 4 31B 稠密	参考
LMSYS Arena（总榜）	发布时第 3 名	发布时约第 5 名	厂商报告
指令遵循（IFEval）	厂商报告称较 Gemma 3 有显著提升	厂商报告称较 Gemma 3 有显著提升	厂商报告
事实性（SimpleQA / 类似基准）	据 Google 称，优于多款闭源模型	相当	厂商报告
多语言（Global-MMLU）	厂商报告称与大得多的模型持平	截至目前 Gemma 的最佳得分	厂商报告

Gemma 4 的定位主张是“每个激活参数更有用”，而不是“HumanEval 的绝对王者”。如果你需要纯代码生成，请对比 GLM-5.1 （前沿编程）或 Qwen3.5 （最佳 35B 级稠密模型）。如果你需要长周期智能体循环，GLM-5.1 仍然是更锋利的工具。

---

故障排查

问题	解决方案
OutOfMemoryError 在 24GB 上加载 26B MoE	切换到 FP8（--quantization fp8）或 4-bit（load_in_4bit=True 在 Transformers 中）。将 --max-model-len 降到 16384 以缩小 KV 缓存。
OutOfMemoryError 在 H100 上加载 31B 稠密	在 32K 上下文下，BF16 对 80GB 来说正好卡在边缘。将 --max-model-len 降到 16384，或切换到 FP8。
Hugging Face 下载失败，返回 403	你尚未在模型页面接受 Gemma 许可。请在浏览器中打开该 URL，确认条款，然后使用具有 读取 权限的 token 重新拉取。
首个 token 非常慢	冷启动权重加载（首次请求约 30–60 秒）再加上长输入的 prefill。请在服务器启动后运行一次虚拟预热请求。添加 --enable-chunked-prefill 以适配长上下文工作负载。
输出乱码 / 重复循环	检查聊天模板—— tokenizer.apply_chat_template 是必需的；不要手动拼接 system+user 字符串。请将 temperature=0.7 以及 top_p=0.95 设置为通用用途。
工具 / JSON 输出不可靠	使用 vLLM 的 --guided-decoding-backend ，或者通过 response_format传入 JSON schema。模型对约束遵循得很好，但无结构提示仍会偏离。
不支持的量化 在 vLLM 中的错误	更新到 2026 年 4 月之后发布的 vLLM 版本（pip install -U vllm --pre）。Gemma 4 架构需要最新的配置解析器。

---

常见问题

Gemma 4 与 Llama 4？ 不同工作各有不同形态。 Llama 4 Scout 是 109B/17B 激活，主打 1000 万上下文——当你需要把超大输入直接丢给模型时非常合适。Gemma 4 26B MoE 的总参数要小得多（26B 对 109B），每个 token 激活的参数更少（4B 对 17B），并且在指令遵循和事实性方面调得更强。如果你的 VRAM 紧张且更看重每参数质量，Gemma 4 更胜一筹。若需要极长上下文长度，Llama 4 Scout 更胜一筹。

Gemma 4 26B MoE 需要多少显存？

• 4-bit GGUF / GPTQ：可装入 24GB （单张 RTX 4090），约 10–15 tok/s。

• FP8：在 40GB上较为轻松，在 80GB （H100）上速度约 40+ tok/s。

• BF16 完整版：约 55GB 权重外加 KV 缓存——请准备一张 80GB 显卡。

我可以将 Gemma 4 用于商业用途吗？ 可以，遵循标准的 Gemma 使用条款。请查看 Gemma 禁止使用政策 后再部署——针对特定用例（欺骗、生成 CSAM、非法活动）有相关限制，而且你必须向下游用户传递许可通知。它不是 Apache 2.0 / MIT 模型——它是在使用政策下的开放权重模型。如果你需要完全不受限制的许可证， Qwen3.5 （Apache 2.0）或 GLM-5.1 （MIT）是替代方案。

Gemma 4 与 DeepSeek-V4？ DeepSeek-V4 属于不同量级——约 1T 参数、多模态、100 万上下文。需要原始能力且拥有强大 GPU 机架时使用 DeepSeek-V4。想要在 单 GPU 上获得强指令遵循，并且在意 裸机 在 Clore 上的租用成本时使用 Gemma 4 26B MoE。Gemma 4 是“能装进 4090 的最佳模型”候选；DeepSeek-V4 是“我愿意为 8× H200 付费”候选。

Gemma 4 支持视觉 / 多模态输入吗？ Gemma 4 的主发布版本是仅文本的指令微调（*-it）。Google 过去通常会在文本发布之后推出 PaliGemma 视觉变体——请关注 huggingface.co/google 以获取更新。若你现在需要支持图像的开源模型，可以看看 Kimi K2.5 或 Llama 4 Scout.

---

相关指南

• vLLM — 本指南中使用的生产服务后端

• Ollama — 使用 GGUF 构建进行本地测试的最快路径

• Llama 4 — Meta 的 MoE 替代方案，支持 1000 万上下文

• GLM-5.1 — 当 Gemma 的规模不够时，可用的前沿级编程 MoE（744B/40B 激活）

• Qwen3.5 — Apache-2.0 35B 稠密，另一个强力单 GPU 选项

• Gemma 3 — 前一代，可作为迁移的有用基线

链接

• Hugging Face 上的 Gemma 4 26B MoE

• Hugging Face 上的 Gemma 4 31B 稠密

• Gemma 使用条款

• Gemma 禁止使用政策

• vLLM 文档

• SGLang 仓库