> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/gemma4.md).

# Gemma 4（26B MoE，4B 活跃）

在 Clore.ai 上部署 Google 的 Gemma 4（26B MoE，4B 活跃）——2026 年 4 月发布的开源权重模型，迅速攀升至

{% hint style="info" %}
**状态（2026年4月）：** Gemma 4 于发布 **2026年4月2日** 由 Google 作为 Gemma 开放权重家族的下一代发布。随附两个变体：一个 **31B 稠密** 模型（`google/gemma-4-31b-it`）和一个 **26B MoE，约 4B 激活参数** (`google/gemma-4-26b-it`）。两者均依据标准 **Gemma 使用条款** 在 [huggingface.co/google/gemma-4-26b-it](https://huggingface.co/google/gemma-4-26b-it) 以及 [huggingface.co/google/gemma-4-31b-it](https://huggingface.co/google/gemma-4-31b-it).
{% endhint %}

Gemma 4 是 Google 在 Gemma 系列中的首个 MoE 版本，也是首个进入 LMSYS Arena 前列的 Gemma 发布版本（厂商报告称 **发布时综合排名第 3**，在事实性和指令遵循方面略胜多款闭源模型）。头条数字是 MoE 变体： **总参数 26B，每个 token 约激活 4B**，这让你以小型稠密模型的推理成本获得接近前沿的指令遵循能力。

对于 Clore.ai 用户，实际结论很简单——26B MoE 可轻松运行在单个 **RTX 4090（24GB）** ，使用 FP8 或 4-bit 量化（约 10 tok/s），并且在单个 **H100 80GB** （约 40+ tok/s）上达到生产级吞吐，让接近 Gemma 质量的指令遵循能力以市场上约 1.04 美元/小时的价格触手可及。31B 稠密变体则是能力更强但更昂贵的兄弟版本，部署时需要 2× RTX 4090 或 1× H100。

## 主要特性

* **MoE 架构（26B 变体）** — 总参数 26B，每个 token 约激活 4B；以 4B 级推理成本获得 26B 级质量
* **稠密备用方案（31B 变体）** — 适合偏好稠密推理可预测性和工具成熟度的团队
* **128K 上下文窗口** — 长文档问答、中等规模代码库上的 RAG、多轮智能体循环
* **强指令遵循** — Gemma 4 明确针对工具使用、结构化输出和忠实遵循约束进行了优化
* **多语言** — 延续 Gemma 3 的完整多语言覆盖，并扩展了非英语基准套件
* **开放权重，Gemma 条款** — 大多数商业用途可免费使用；请查看 [Gemma 禁止使用政策](https://ai.google.dev/gemma/prohibited_use_policy) 后再发布
* **一流工具支持** — 在 vLLM、SGLang、Ollama 和 Hugging Face Transformers 中开箱即用

## 选择你的变体

| 变体                                     | 总参数量 | 激活            | 上下文  | 推荐量化             | 推荐的 Clore GPU                                                                                                    |
| -------------------------------------- | ---- | ------------- | ---- | ---------------- | ---------------------------------------------------------------------------------------------------------------- |
| **Gemma 4 26B MoE** (`gemma-4-26b-it`) | 26B  | 每个 token 约 4B | 128K | FP8 或 4-bit GPTQ | 1× [RTX 4090](https://clore.ai/rent-4090.html?utm_source=docs\&utm_medium=guide\&utm_campaign=gemma4) （24GB，量化后） |
| **Gemma 4 31B 稠密** (`gemma-4-31b-it`)  | 31B  | 31B（全部）       | 128K | FP8 或 BF16       | 1× [H100](https://clore.ai/rent-h100.html?utm_source=docs\&utm_medium=guide\&utm_campaign=gemma4) （80GB，BF16）    |

{% hint style="success" %}
**实用选择：** 对于 90% 的单 GPU 部署，选择 **采用 FP8 的 Gemma 4 26B MoE**。你可以在 4090 上以约 10–15 tok/s、在 H100 上以约 40+ tok/s 获得顶级 Arena 质量，而且无需承担 31B 稠密推理的延迟成本。
{% endhint %}

***

## 服务器要求

| 组件     | 26B MoE（4-bit，4090） | 26B MoE（FP8，H100） | 31B 稠密（BF16，H100） |
| ------ | ------------------- | ----------------- | ----------------- |
| GPU 显存 | 24GB                | 80GB              | 80GB              |
| 系统内存   | 32GB                | 64GB              | 64GB              |
| 磁盘     | 60GB NVMe           | 80GB NVMe         | 90GB NVMe         |
| 网络     | 用于 HF 拉取的 100 Mbps  | 优选 1 Gbps         | 优选 1 Gbps         |
| CUDA   | 12.8+               | 12.8+             | 12.8+             |
| 驱动程序   | 550+                | 555+              | 555+              |

在静态权重占用之外，预留额外约 20% 的显存余量以覆盖长上下文的 KV 缓存。设置 `--gpu-memory-utilization 0.90` 在 vLLM 中是一个不错的默认值。

***

## 在 CLORE.AI 上快速部署

最快路径：租一块单 GPU，拉取标准 `vllm/vllm-openai` 镜像，并通过兼容 OpenAI 的 API 提供模型服务。下面是本指南其余部分使用的 docker-compose 布局——请根据你上面选择的变体调整模型名称和张量并行大小。

### 选项 A — 单 GPU 上的 Gemma 4 26B MoE（vLLM，FP8）

```yaml
version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    environment:
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model google/gemma-4-26b-it
      --quantization fp8
      --max-model-len 32768
      --gpu-memory-utilization 0.90
      --served-model-name gemma-4-26b
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              数量：1
              capabilities: [gpu]
    shm_size: "8gb"

volumes:
  hf_cache:
```

```bash
# 启动它
HF_TOKEN=hf_xxx docker compose up -d

# 在权重下载时跟踪日志
docker compose logs -f vllm
```

{% hint style="info" %}
**许可门槛：** Hugging Face 上的 Gemma 模型要求每个账号接受一次 Google 的条款。请在浏览器中访问模型页面，点击“确认许可”，然后导出 `HF_TOKEN` 这样容器才能拉取权重。
{% endhint %}

### 选项 B — H100 上的 Gemma 4 31B 稠密（vLLM，BF16）

```bash
docker run --gpus all -p 8000:8000 \\
  -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  --ipc=host \
  vllm/vllm-openai:latest \
  --model google/gemma-4-31b-it \
  --dtype bfloat16 \\
  --max-model-len 32768 \\
  --gpu-memory-utilization 0.90 \\
  --served-model-name gemma-4-31b
```

### 选项 C — 在 2× RTX 4090 上运行 Gemma 4 31B 稠密（FP8，张量并行）

```bash
docker run --gpus all -p 8000:8000 \\
  -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \\
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  --ipc=host \
  vllm/vllm-openai:latest \
  --model google/gemma-4-31b-it \
  --quantization fp8 \\
  --tensor-parallel-size 2 \\
  --max-model-len 16384 \\
  --gpu-memory-utilization 0.90 \\
  --served-model-name gemma-4-31b
```

### 选项 D — 使用 Ollama 快速本地测试

对于笔记本级别的试验，Ollama 封装了 GGUF 社区构建版本。预计量化版本会在官方发布后几天上线。

```bash
# 一旦社区 GGUF 发布
ollama pull gemma4:26b-moe-q4_k_m
ollama run gemma4:26b-moe-q4_k_m

# 在 :11434 上提供兼容 OpenAI 的 API
curl http://localhost:11434/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "gemma4:26b-moe-q4_k_m",
    "messages": [{"role":"user","content":"用两句话总结 MoE 路由方法。"}]
  }'
```

请参阅 [Ollama 指南](/guides/guides_v2-zh/yu-yan-mo-xing/ollama.md) 以获取通用设置、模型管理和持久化建议。

***

## 使用示例

vLLM 容器在以下地址提供兼容 OpenAI 的 API： `:8000`。任何支持 OpenAI chat-completions 模式的客户端都可以直接使用。

### Curl 聊天补全

```bash
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "gemma-4-26b",
    "messages": [
      {"role": "system", "content": "你是一位严谨的技术写作者。"},
      {"role": "user", "content": "请用三句话解释 MoE 路由，不要使用类比。"}
    ],
    "max_tokens": 512,
    "temperature": 0.7
  }'
```

### Python（OpenAI 客户端）

```python
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="gemma-4-26b",
    messages=[
        {"role": "system", "content": "你用纯文本回答，不要使用 markdown。"},
        {"role": "user", "content": "请给我一份针对 Go HTTP 处理器的 5 条代码审查检查清单。"},
    ],
    temperature=0.7,
    max_tokens=1024,
)
print(resp.choices[0].message.content)
```

### 流式响应

```python
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

stream = client.chat.completions.create(
    model="gemma-4-26b",
    messages=[{"role": "user", "content": "写一首关于分布式推理的俳句。"}],
    stream=True,
    max_tokens=128,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)
print()
```

### Hugging Face Transformers（离线使用）

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "google/gemma-4-26b-it"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True,  # 可将该 MoE 装入单张 24GB 显卡
)

messages = [
    {"role": "user", "content": "请重构这个 Python 函数以提高可读性：\n\ndef f(x): return [i for i in x if i%2==0 and i>10]"},
]
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output = model.generate(input_ids, max_new_tokens=512, do_sample=True, temperature=0.7)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

***

## 性能提示

* **在 Hopper 上使用 FP8。** 在 H100 上，FP8 检查点的显存占用大约只有 BF16 的一半，而在指令遵循任务上没有可测量的质量损失。将 `--quantization fp8` 传给 vLLM。
* **在 Ada（RTX 4090）上使用 4-bit GPTQ。** 对于单张 4090 上的 MoE 变体，社区 GPTQ 4-bit 构建是实用的最佳选择——预计约 10–15 tok/s。Ollama 的 Q4\_K\_M GGUF 构建可提供相近质量，同时运维更简单。
* **31B 稠密的张量并行。** 在 2× RTX 4090 上，传入 `--tensor-parallel-size 2`。将上下文固定为你实际需要的长度（`--max-model-len 16384`）——上下文每翻倍一次，KV 缓存占用大约也会翻倍。
* **MoE 的专家并行。** 在 26B MoE 的多 GPU 配置中，vLLM 的 `--enable-expert-parallel` 在更高批大小下可显著提升吞吐量。对于单 GPU 来说则有些过度。
* **用于长上下文的分块 prefill。** 当超过 32K 时，添加 `--enable-chunked-prefill` 到 vLLM 中。这样可以保持 prefill 延迟可控，并防止 decode 路径卡顿。
* **预先拉取权重。** 对于临时的 Clore 租用，请在以下路径挂载持久卷： `/root/.cache/huggingface` 这样后续运行就能跳过 50–60GB 的下载。
* **选择合适的服务后端。** vLLM 是稳妥的默认选择。SGLang 在 Hopper 上通常更适合高并发工作负载；请参阅 [vLLM 指南](/guides/guides_v2-zh/yu-yan-mo-xing/vllm.md) 以获取更全面的比较。

***

## 基准

{% hint style="warning" %}
**厂商公布的数据——独立验证仍在进行中。** 以下数据来自 Google 2026 年 4 月 2 日的发布材料。针对私有评测的独立复现仍在陆续出现。请将 Arena 排名和事实性得分视为方向性参考，而非绝对值。
{% endhint %}

| 基准                   | Gemma 4 26B MoE      | Gemma 4 31B 稠密       | 参考   |
| -------------------- | -------------------- | -------------------- | ---- |
| LMSYS Arena（总榜）      | 发布时第 3 名             | 发布时约第 5 名            | 厂商报告 |
| 指令遵循（IFEval）         | 厂商报告称较 Gemma 3 有显著提升 | 厂商报告称较 Gemma 3 有显著提升 | 厂商报告 |
| 事实性（SimpleQA / 类似基准） | 据 Google 称，优于多款闭源模型  | 相当                   | 厂商报告 |
| 多语言（Global-MMLU）     | 厂商报告称与大得多的模型持平       | 截至目前 Gemma 的最佳得分     | 厂商报告 |

Gemma 4 的定位主张是“每个激活参数更有用”，而不是“HumanEval 的绝对王者”。如果你需要纯代码生成，请对比 [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) （前沿编程）或 [Qwen3.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md) （最佳 35B 级稠密模型）。如果你需要长周期智能体循环，GLM-5.1 仍然是更锋利的工具。

***

## 故障排查

| 问题                                    | 解决方案                                                                                                                   |
| ------------------------------------- | ---------------------------------------------------------------------------------------------------------------------- |
| `OutOfMemoryError` 在 24GB 上加载 26B MoE | 切换到 FP8（`--quantization fp8`）或 4-bit（`load_in_4bit=True` 在 Transformers 中）。将 `--max-model-len` 降到 16384 以缩小 KV 缓存。     |
| `OutOfMemoryError` 在 H100 上加载 31B 稠密  | 在 32K 上下文下，BF16 对 80GB 来说正好卡在边缘。将 `--max-model-len` 降到 16384，或切换到 FP8。                                                 |
| Hugging Face 下载失败，返回 403              | 你尚未在模型页面接受 Gemma 许可。请在浏览器中打开该 URL，确认条款，然后使用具有 `读取` 权限的 token 重新拉取。                                                     |
| 首个 token 非常慢                          | 冷启动权重加载（首次请求约 30–60 秒）再加上长输入的 prefill。请在服务器启动后运行一次虚拟预热请求。添加 `--enable-chunked-prefill` 以适配长上下文工作负载。                    |
| 输出乱码 / 重复循环                           | 检查聊天模板—— `tokenizer.apply_chat_template` 是必需的；不要手动拼接 `system`+`user` 字符串。请将 `temperature=0.7` 以及 `top_p=0.95` 设置为通用用途。 |
| 工具 / JSON 输出不可靠                       | 使用 vLLM 的 `--guided-decoding-backend` ，或者通过 `response_format`传入 JSON schema。模型对约束遵循得很好，但无结构提示仍会偏离。                     |
| `不支持的量化` 在 vLLM 中的错误                  | 更新到 2026 年 4 月之后发布的 vLLM 版本（`pip install -U vllm --pre`）。Gemma 4 架构需要最新的配置解析器。                                         |

***

## 常见问题

**Gemma 4 与 Llama 4？** 不同工作各有不同形态。 [Llama 4 Scout](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md) 是 109B/17B 激活，主打 1000 万上下文——当你需要把超大输入直接丢给模型时非常合适。Gemma 4 26B MoE 的总参数要小得多（26B 对 109B），每个 token 激活的参数更少（4B 对 17B），并且在指令遵循和事实性方面调得更强。如果你的 VRAM 紧张且更看重每参数质量，Gemma 4 更胜一筹。若需要极长上下文长度，Llama 4 Scout 更胜一筹。

**Gemma 4 26B MoE 需要多少显存？**

* 4-bit GGUF / GPTQ：可装入 **24GB** （单张 RTX 4090），约 10–15 tok/s。
* FP8：在 **40GB**上较为轻松，在 **80GB** （H100）上速度约 40+ tok/s。
* BF16 完整版：约 55GB 权重外加 KV 缓存——请准备一张 **80GB** 显卡。

**我可以将 Gemma 4 用于商业用途吗？** 可以，遵循标准的 Gemma 使用条款。请查看 [Gemma 禁止使用政策](https://ai.google.dev/gemma/prohibited_use_policy) 后再部署——针对特定用例（欺骗、生成 CSAM、非法活动）有相关限制，而且你必须向下游用户传递许可通知。它不是 Apache 2.0 / MIT 模型——它是在使用政策下的开放权重模型。如果你需要完全不受限制的许可证， [Qwen3.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md) （Apache 2.0）或 [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) （MIT）是替代方案。

**Gemma 4 与 DeepSeek-V4？** [DeepSeek-V4](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-v4.md) 属于不同量级——约 1T 参数、多模态、100 万上下文。需要原始能力且拥有强大 GPU 机架时使用 DeepSeek-V4。想要在 **单 GPU** 上获得强指令遵循，并且在意 [裸机](https://clore.ai/bare-metal) 在 Clore 上的租用成本时使用 Gemma 4 26B MoE。Gemma 4 是“能装进 4090 的最佳模型”候选；DeepSeek-V4 是“我愿意为 8× H200 付费”候选。

**Gemma 4 支持视觉 / 多模态输入吗？** Gemma 4 的主发布版本是仅文本的指令微调（`*-it`）。Google 过去通常会在文本发布之后推出 PaliGemma 视觉变体——请关注 [huggingface.co/google](https://huggingface.co/google) 以获取更新。若你现在需要支持图像的开源模型，可以看看 [Kimi K2.5](/guides/guides_v2-zh/yu-yan-mo-xing/kimi-k2.md) 或 [Llama 4 Scout](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md).

***

## 相关指南

* [vLLM](/guides/guides_v2-zh/yu-yan-mo-xing/vllm.md) — 本指南中使用的生产服务后端
* [Ollama](/guides/guides_v2-zh/yu-yan-mo-xing/ollama.md) — 使用 GGUF 构建进行本地测试的最快路径
* [Llama 4](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md) — Meta 的 MoE 替代方案，支持 1000 万上下文
* [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md) — 当 Gemma 的规模不够时，可用的前沿级编程 MoE（744B/40B 激活）
* [Qwen3.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md) — Apache-2.0 35B 稠密，另一个强力单 GPU 选项
* [Gemma 3](/guides/guides_v2-zh/yu-yan-mo-xing/gemma3.md) — 前一代，可作为迁移的有用基线

### 链接

* [Hugging Face 上的 Gemma 4 26B MoE](https://huggingface.co/google/gemma-4-26b-it)
* [Hugging Face 上的 Gemma 4 31B 稠密](https://huggingface.co/google/gemma-4-31b-it)
* [Gemma 使用条款](https://ai.google.dev/gemma/terms)
* [Gemma 禁止使用政策](https://ai.google.dev/gemma/prohibited_use_policy)
* [vLLM 文档](https://docs.vllm.ai)
* [SGLang 仓库](https://github.com/sgl-project/sglang)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/gemma4.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.