> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md).

# Qwen3.5

在 Clore.ai 上运行阿里巴巴 Qwen3.5——最新前沿模型（2026 年 2 月）

Qwen3.5 于 2026 年 2 月 16 日发布，是阿里巴巴最新的旗舰模型，也是 2026 年最火的开源发布之一。 **397B MoE 旗舰模型** 在 HMMT 数学基准上击败了 Claude 4.5 Opus，而更小的 **35B 稠密模型** 可直接运行在单张 RTX 4090 上。所有模型开箱即具备 agentic 能力（工具使用、函数调用、自动任务执行）以及多模态理解能力。

## 主要特性

* **三种规模**：9B（稠密）、35B（稠密）、397B（MoE）——总有一款适合每块 GPU
* **击败 Claude 4.5 Opus** 在 HMMT 数学基准上
* **原生多模态**：文本 + 图像理解
* **Agentic 能力**：工具使用、函数调用、自动化工作流
* **128K 上下文窗口**：处理大型文档和代码库
* **Apache 2.0 许可证**：可完全商用，无限制

## 模型变体

| 模型           | 参数   | 类型  | 显存（Q4）  | 显存（FP16） | 优势    |
| ------------ | ---- | --- | ------- | -------- | ----- |
| Qwen3.5-9B   | 9B   | 稠密  | 6GB     | 18GB     | 快速、高效 |
| Qwen3.5-35B  | 35B  | 稠密  | 22GB    | 70GB     | 单卡最佳  |
| Qwen3.5-397B | 397B | MoE | 约 100GB | 400GB 以上 | 前沿级   |

## 要求

{% hint style="warning" %}
**Clore.ai 市场中未列出多 GPU 的 80GB 级机器。** 目前列出的最大机器是 4× RTX PRO 6000 Blackwell（每张 96GB，总计 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量以 [裸金属](https://clore.ai/bare-metal) 形式按需提供。请在配置部署前查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。
{% endhint %}

| 组件  | 9B（Q4）        | 35B（Q4）       | 397B（多 GPU）  |
| --- | ------------- | ------------- | ------------ |
| GPU | RTX 3080 10GB | RTX 4090 24GB | 4× H100 80GB |
| 显存  | 8GB           | 22GB          | 320GB 以上     |
| 内存  | 16GB          | 32GB          | 128GB        |
| 磁盘  | 15GB          | 30GB          | 250GB        |

**推荐的 Clore.ai GPU**：RTX 4090 24GB（$0.14–0.42/小时）用于 35B——性价比最高

## 使用 Ollama 快速开始

```bash
# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 9B——可在任何设备上运行（8GB 显存）
ollama run qwen3.5:9b

# 35B 量化版——需要 RTX 4090（24GB）
ollama run qwen3.5:35b

# 作为 API 服务器
ollama serve &
curl http://localhost:11434/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "qwen3.5:35b",
    "messages": [{"role": "user", "content": "解这道题：若 f(x) = x^3 - 3x + 1，求所有实根"}]
  }'
```

## vLLM 设置（生产环境）

```bash
pip install vllm

# 单卡上的 35B
vllm serve Qwen/Qwen3.5-35B-Instruct \\
  --max-model-len 32768 \\
  --gpu-memory-utilization 0.90

# 支持长上下文的 9B
vllm serve Qwen/Qwen3.5-9B-Instruct \\
  --max-model-len 65536

# 多 GPU 集群上的 397B
vllm serve Qwen/Qwen3.5-397B-A45B-Instruct \\
  --tensor-parallel-size 8 \\
  --max-model-len 32768
```

## HuggingFace Transformers

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3.5-35B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True  # 35B 可装入 24GB
)

messages = [
    {"role": "system", "content": "你是一位乐于助人的数学导师。"},
    {"role": "user", "content": "证明 2 的平方根是无理数。"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output = model.generate(input_ids, max_new_tokens=2048, temperature=0.7, do_sample=True)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

## Agentic / 工具使用示例

```python
import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

tools = [{
    "type": "function",
    "function": {
        "name": "get_gpu_price",
        "description": "获取 Clore.ai 上某 GPU 型号的当前租赁价格",
        "parameters": {
            "type": "object",
            "properties": {
                "gpu_model": {"type": "string", "description": "GPU 型号名称，例如 RTX 4090"}
            },
            "required": ["gpu_model"]
        }
    }
}]

response = client.chat.completions.create(
    model="qwen3.5:35b",
    messages=[{"role": "user", "content": "运行 7B 模型时，我能租到的最便宜 GPU 是什么？"}],
    tools=tools,
    tool_choice="auto"
)

# Qwen3.5 将会使用合适的参数调用 get_gpu_price
print(response.choices[0].message)
```

## 为什么在 Clore.ai 上选择 Qwen3.5？

35B 模型可以说是 **你能在单张 RTX 4090 上运行的最佳模型**:

* 在数学和推理方面击败 Llama 4 Scout
* 在 agentic 任务上击败 Gemma 3 27B
* 工具使用 / 函数调用开箱即用
* Apache 2.0 = 没有许可证烦恼

以 RTX 4090 每小时 $0.14–0.42 的价格，你就能以一杯咖啡的花费获得前沿级 AI。

## 给 Clore.ai 用户的建议

* **35B 是最佳平衡点**：可装入 RTX 4090 的 Q4 版本，性能超过大多数 70B 模型
* **预算有限选 9B**：即使是 RTX 3060（$0.03–0.07/小时）也能很好运行 9B 模型
* **用 Ollama 快速上手**：一条命令即可服务；内置 OpenAI 兼容 API
* **Agentic 工作流**：Qwen3.5 擅长工具使用——与函数调用结合可实现自动化
* **新模型 = 缓存更少**：首次下载需要时间（35B 约 20GB）。在工作负载开始前提前拉取

## 故障排查

| 问题               | 解决方案                                                        |
| ---------------- | ----------------------------------------------------------- |
| 35B 在 24GB 上 OOM | 使用 `load_in_4bit=True` 或降低 `--max-model-len`                |
| 未找到 Ollama 模型    | 更新 Ollama： `curl -fsSL https://ollama.com/install.sh \| sh` |
| 首次请求较慢           | 模型加载需要 30-60 秒；后续请求会很快                                      |
| 工具调用不工作          | 确保你传入了 `tools` 参数；仅使用 instruct 版本                           |

## 延伸阅读

* [Qwen 博客](https://qwenlm.github.io/)
* [HuggingFace 模型](https://huggingface.co/Qwen)
* [Ollama 库](https://ollama.com/library/qwen3.5)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/qwen35.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.