模型兼容性

Clore.ai 的 AI 模型与 GPU 兼容性矩阵

关于哪些 AI 模型可在 CLORE.AI 上运行于哪些 GPU 的完整指南。

在以下位置查找具有合适 VRAM 的 GPU： CLORE.AI 市场.

快速参考

Clore.ai 市场上未列出多 GPU 的 80GB 级机型。 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 裸机 需求提供。部署前请查看 GPU 价格与可用性 。

语言模型（LLM）

模型	参数	最低显存	推荐	量化
Llama 3.2	1B	2GB	4GB	Q4、Q8、FP16
Llama 3.2	3B	4GB	6GB	Q4、Q8、FP16
Llama 3.1/3	8B	6GB	12GB	Q4、Q8、FP16
Mistral	7B	6GB	12GB	Q4、Q8、FP16
Qwen 2.5	7B	6GB	12GB	Q4、Q8、FP16
Qwen 2.5	14B	12GB	16GB	Q4、Q8
Qwen 2.5	32B	20GB	24GB	Q4、Q8
Llama 3.1	70B	40GB	48GB	Q4、Q8
Qwen 2.5	72B	48GB	80GB	Q4、Q8
Mixtral	8x7B	24GB	48GB	Q4
DeepSeek-V3	671B	320GB 以上	640GB	FP8
DeepSeek-R1	671B	320GB 以上	8x H100	FP8，推理模型
DeepSeek-R1-Distill	32B	20GB	2x A100 / RTX 5090	Q4/Q8

图像生成模型

模型	最低显存	推荐	备注
SD 1.5	4GB	8GB	原生 512x512
SD 2.1	6GB	8GB	原生 768x768
SDXL	8GB	12GB	原生 1024x1024
SDXL Turbo	8GB	12GB	1-4 步
SD3.5 Large（8B）	16GB	24GB	1024x1024，高级质量
FLUX.1 schnell	12GB	16GB	4 步，快速
FLUX.1 dev	16GB	24GB	20-50 步
TRELLIS	16GB	24GB（RTX 4090）	从图像生成 3D

视频生成模型

模型	最低显存	推荐	输出
Stable Video Diffusion	16GB	24GB	4 秒，576x1024
AnimateDiff	12GB	16GB	2-4 秒
LTX-Video	16GB	24GB（RTX 4090/3090）	5 秒，768x512，非常快
Wan2.1	24GB	40GB	5 秒，480p-720p
Hunyuan Video	40GB	80GB	5 秒，720p
OpenSora	24GB	40GB	变量

音频模型

模型	最低显存	推荐	任务
Whisper tiny	1GB	2GB	转录
Whisper base	1GB	2GB	转录
Whisper small	2GB	4GB	转录
Whisper medium	4GB	6GB	转录
Whisper large-v3	6GB	10GB	转录
Bark	8GB	12GB	文本转语音
Stable Audio	8GB	12GB	音乐生成

视觉与视觉语言模型

模型	最低显存	推荐	任务
Llama 3.2 Vision 11B	12GB	16GB	图像理解
Llama 3.2 Vision 90B	48GB	80GB	图像理解
LLaVA 7B	8GB	12GB	视觉问答
LLaVA 13B	16GB	24GB	视觉问答
Qwen2.5-VL 7B	16GB	24GB（RTX 4090）	图像/视频/文档 OCR
Qwen2.5-VL 72B	48GB	2x A100 80GB	最大 VL 能力

微调与训练工具

工具 / 方法	最低显存	推荐 GPU	任务
Unsloth QLoRA 7B	12GB	RTX 3090 24GB	QLoRA 提速 2 倍，低 VRAM
Unsloth QLoRA 13B	16GB	RTX 4090 24GB	快速微调
LoRA（标准）	12GB	RTX 3090	参数高效微调
7B 全量微调	40GB	A100 40GB	最高质量训练

---

详细兼容性表

按 GPU 分类的 LLM

GPU	最大模型（Q4）	最大模型（Q8）	最大模型（FP16）
RTX 3060 12GB	13B	7B	3B
RTX 3070 8GB	7B	3B	1B
RTX 3080 10GB	7B	7B	3B
RTX 3090 24GB	30B	13B	7B
RTX 4070 Ti 12GB	13B	7B	3B
RTX 4080 16GB	14B	7B	7B
RTX 4090 24GB	30B	13B	7B
RTX 5090 32GB	70B	14B	13B
A100 40GB	70B	30B	14B
A100 80GB	70B	70B	30B
H100 80GB	70B	70B	30B

按 GPU 分类的图像生成

GPU	SD 1.5	SDXL	FLUX schnell	FLUX dev
RTX 3060 12GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3070 8GB	✅ 512	⚠️ 512	❌	❌
RTX 3080 10GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3090 24GB	✅ 768	✅ 1024	✅ 1024	⚠️ 768*
RTX 4070 Ti 12GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 4080 16GB	✅ 768	✅ 1024	✅ 768	⚠️ 512*
RTX 4090 24GB	✅ 1024	✅ 1024	✅ 1024	✅ 1024
RTX 5090 32GB	✅ 1024	✅ 1024	✅ 1536	✅ 1536
A100 40GB	✅ 1024	✅ 1024	✅ 1024	✅ 1024
A100 80GB	✅ 2048	✅ 2048	✅ 1536	✅ 1536

*使用 CPU 卸载或减少批次大小

按 GPU 分类的视频生成

GPU	SVD	AnimateDiff	Wan2.1	Hunyuan
RTX 3060 12GB	❌	⚠️ 短	❌	❌
RTX 3090 24GB	✅ 2-4 秒	✅	⚠️ 480p	❌
RTX 4090 24GB	✅ 4 秒	✅	✅ 480p	⚠️ 短
RTX 5090 32GB	✅ 6 秒	✅	✅ 720p	✅ 5 秒
A100 40GB	✅ 4 秒	✅	✅ 720p	✅ 5 秒
A100 80GB	✅ 8 秒	✅	✅ 720p	✅ 10 秒

---

量化指南

什么是量化？

量化会降低模型精度，以适应更少的显存：

格式	位数	显存减少	质量损失
FP32	32	基准	无
FP16	16	50%	极小
BF16	16	50%	极小
FP8	8	75%	较小
Q8	8	75%	较小
Q6_K	6	81%	较小
Q5_K_M	5	84%	中等
Q4_K_M	4	87%	中等
Q3_K_M	3	91%	明显
Q2_K	2	94%	显著

VRAM 计算器

公式： VRAM（GB）≈ 参数（B）× 每个参数的字节数

模型大小	FP16	Q8	Q4
1B	2 GB	1 GB	0.5 GB
3B	6 GB	3 GB	1.5 GB
7B	14 GB	7 GB	3.5 GB
8B	16 GB	8 GB	4 GB
13B	26 GB	13 GB	6.5 GB
14B	28 GB	14 GB	7 GB
30B	60 GB	30 GB	15 GB
32B	64 GB	32 GB	16 GB
70B	140 GB	70 GB	35 GB
72B	144 GB	72 GB	36 GB

*为 KV 缓存和额外开销增加约 20%

按使用场景推荐的量化方式

使用场景	推荐	原因
聊天/通用	Q4_K_M	速度与质量的良好平衡
编程	Q5_K_M+	代码准确性更高
创意写作	Q4_K_M	速度更重要
分析	Q6_K+	需要更高精度
生产环境	FP16/BF16	最高质量

---

上下文长度与 VRAM

上下文如何影响 VRAM

每个模型都有一个上下文窗口（最大 token 数）。上下文越长 = 需要更多显存：

模型	默认上下文	最大上下文	每 1K token 的显存
Llama 3 8B	8K	128K	约 0.3 GB
Llama 3 70B	8K	128K	约 0.5 GB
Qwen 2.5 7B	8K	128K	约 0.25 GB
Mistral 7B	8K	32K	约 0.25 GB
Mixtral 8x7B	32K	32K	约 0.4 GB

按 GPU 计算的上下文（Llama 3 8B Q4）

GPU	舒适上下文	最大上下文
RTX 3060 12GB	16K	32K
RTX 3090 24GB	64K	96K
RTX 4090 24GB	64K	96K
RTX 5090 32GB	96K	128K
A100 40GB	96K	128K
A100 80GB	128K	128K

---

多 GPU 配置

张量并行

将一个模型拆分到多块 GPU 上：

配置	总显存	最大模型（FP16）
2x RTX 3090	48GB	30B
2x RTX 4090	48GB	30B
2x RTX 5090	64GB	32B
4x RTX 5090	128GB	70B
2x A100 40GB	80GB	70B
4x A100 40GB	160GB	100B+
8x A100 80GB	640GB	DeepSeek-V3

vLLM 多 GPU

# 2 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2

# 4 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4

---

特定模型指南

Llama 3.1 系列

变体	参数	最低 GPU	推荐配置
Llama 3.2 1B	1B	任意 4GB	RTX 3060
Llama 3.2 3B	3B	任意 6GB	RTX 3060
Llama 3.1 8B	8B	RTX 3060	RTX 3090
Llama 3.1 70B	70B	A100 40GB	2x A100 40GB
Llama 3.1 405B	405B	8x A100 80GB	8x H100

Mistral/Mixtral 系列

变体	参数	最低 GPU	推荐配置
Mistral 7B	7B	RTX 3060	RTX 3090
Mixtral 8x7B	46.7B	RTX 3090	A100 40GB
Mixtral 8x22B	141B	2x A100 80GB	4x A100 80GB

Qwen 2.5 系列

变体	参数	最低 GPU	推荐配置
Qwen 2.5 0.5B	0.5B	任意 2GB	任意 4GB
Qwen 2.5 1.5B	1.5B	任意 4GB	RTX 3060
Qwen 2.5 3B	3B	任意 6GB	RTX 3060
Qwen 2.5 7B	7B	RTX 3060	RTX 3090
Qwen 2.5 14B	14B	RTX 3090	RTX 4090
Qwen 2.5 32B	32B	RTX 4090	A100 40GB
Qwen 2.5 72B	72B	A100 40GB	A100 80GB

DeepSeek 模型

变体	参数	最低 GPU	推荐配置
DeepSeek-Coder 6.7B	6.7B	RTX 3060	RTX 3090
DeepSeek-Coder 33B	33B	RTX 4090	A100 40GB
DeepSeek-V2-Lite	15.7B	RTX 3090	A100 40GB
DeepSeek-V3	671B	8x A100 80GB	8x H100
DeepSeek-R1	671B	8x A100 80GB	8x H100（FP8）
DeepSeek-R1-Distill-Qwen-32B	32B	RTX 5090 32GB	2x A100 40GB
DeepSeek-R1-Distill-Qwen-7B	7B	RTX 3090 24GB	RTX 4090

---

故障排查

"CUDA 显存不足"

1. 降低量化等级： Q8 → Q4

2. 降低上下文长度： 减少 max_tokens

3. 启用 CPU 卸载： --cpu-offload 或 enable_model_cpu_offload()

4. 使用更小的批次： batch_size=1

5. 尝试其他 GPU： 需要更多显存

"模型过大"

1. 使用量化版本： GGUF Q4 模型

2. 使用多张 GPU： 张量并行

3. 卸载到 CPU： 更慢但可用

4. 选择更小的模型： 用 7B 而不是 13B

“慢速生成”

1. 升级 GPU： 更多 VRAM = 更少卸载

2. 使用更快的量化： Q4 比 Q8 更快

3. 减少上下文： 更短 = 更快

4. 启用 Flash Attention： --flash-attn

下一步

• GPU 对比指南 - 详细的 GPU 规格

• Docker 镜像目录 - 可直接部署的镜像

• 快速入门指南 - 5 分钟上手