> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/language-models.md).

# 概览

在 CLORE.AI GPU 上运行大型语言模型（LLMs），用于推理和聊天应用。

## 热门工具

| 工具                                                                                    | 使用场景             | 难度 |
| ------------------------------------------------------------------------------------- | ---------------- | -- |
| [Ollama](/guides/guides_v2-zh/yu-yan-mo-xing/ollama.md)                               | 最简单的 LLM 配置      | 入门 |
| [Open WebUI](/guides/guides_v2-zh/yu-yan-mo-xing/open-webui.md)                       | 类似 ChatGPT 的界面   | 入门 |
| [vLLM](/guides/guides_v2-zh/yu-yan-mo-xing/vllm.md)                                   | 高吞吐量生产部署         | 中等 |
| [Llama.cpp 服务器](/guides/guides_v2-zh/yu-yan-mo-xing/llamacpp-server.md)               | 高效 GGUF 推理       | 简单 |
| [Text Generation WebUI](/guides/guides_v2-zh/yu-yan-mo-xing/text-generation-webui.md) | 功能完整的聊天界面        | 简单 |
| [ExLlamaV2](/guides/guides_v2-zh/yu-yan-mo-xing/exllamav2-fast.md)                    | 最快的 EXL2 推理      | 中等 |
| [LocalAI](/guides/guides_v2-zh/yu-yan-mo-xing/localai-openai-compatible.md)           | 兼容 OpenAI 的 API  | 中等 |
| [SGLang](/guides/guides_v2-zh/yu-yan-mo-xing/sglang.md)                               | 快速结构化生成          | 中等 |
| [文本生成推理（TGI）](/guides/guides_v2-zh/yu-yan-mo-xing/tgi.md)                             | HuggingFace 部署方案 | 中等 |
| [LMDeploy](/guides/guides_v2-zh/yu-yan-mo-xing/lmdeploy.md)                           | MMlab 部署工具包      | 中等 |
| [Aphrodite 引擎](/guides/guides_v2-zh/yu-yan-mo-xing/aphrodite-engine.md)               | 带额外功能的 vLLM 分支   | 中等 |
| [MLC-LLM](/guides/guides_v2-zh/yu-yan-mo-xing/mlc-llm.md)                             | 机器学习编译           | 困难 |
| [LiteLLM](/guides/guides_v2-zh/yu-yan-mo-xing/litellm.md)                             | 统一 API 代理        | 中等 |
| [PowerInfer](/guides/guides_v2-zh/yu-yan-mo-xing/powerinfer.md)                       | 稀疏模型推理           | 困难 |
| [Mistral.rs](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-rs.md)                       | 基于 Rust 的推理引擎    | 中等 |

## 模型指南

### 最新且最佳模型

| 模型                                                                          | 参数                      | 许可证               | 可放在                    |
| --------------------------------------------------------------------------- | ----------------------- | ----------------- | ---------------------- |
| [Qwen3.8-27B](/guides/guides_v2-zh/yu-yan-mo-xing/qwen38-27b.md)            | 27B 稠密                  | Apache 2.0        | 1× RTX 4090（Q4）        |
| [Mistral Small 4](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-small4.md)    | 119B / 6.5B 激活          | Apache 2.0        | 2× RTX 4090（Q2）        |
| [GLM-5.2](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-2.md)                   | 约 750B / 40B 激活         | MIT               | 10× RTX 5090（Q2）       |
| [DeepSeek V4](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-v4.md)           | Flash 167GB · Pro 893GB | MIT               | 6–8× RTX 5090（Flash）   |
| [MiniMax M3](/guides/guides_v2-zh/yu-yan-mo-xing/minimax-m3.md)             | 428B / 23B 激活           | minimax-community | 6–8× RTX 5090（Q2–Q3）   |
| [Nemotron 3 Ultra](/guides/guides_v2-zh/yu-yan-mo-xing/nemotron-3-ultra.md) | 550B / 55B 激活           | OpenMDW-1.1       | 4× RTX PRO 6000（NVFP4） |
| [Kimi K3](/guides/guides_v2-zh/yu-yan-mo-xing/kimi-k3.md)                   | 2.8T                    | Kimi K3 许可证       | 市场上没有可用内容              |
| [GLM-5.1](/guides/guides_v2-zh/yu-yan-mo-xing/glm-5-1.md)                   | 744B / 40B 激活           | MIT               | 大型主机                   |
| [Llama 4](/guides/guides_v2-zh/yu-yan-mo-xing/llama4.md)                    | Scout 与 Maverick        | Llama 社区          | 1× RTX 4090（Scout Q4）  |
| [DeepSeek-R1](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-r1.md)           | 671B MoE                | MIT               | 大型主机                   |
| [Qwen2.5](/guides/guides_v2-zh/yu-yan-mo-xing/qwen25.md)                    | 0.5B–72B                | Apache 2.0        | 任意显卡                   |

### 专用模型

| 模型                                                                      | 参数       | 最适合            |
| ----------------------------------------------------------------------- | -------- | -------------- |
| [DeepSeek Coder](/guides/guides_v2-zh/yu-yan-mo-xing/deepseek-coder.md) | 6.7B-33B | 代码生成           |
| [CodeLlama](/guides/guides_v2-zh/yu-yan-mo-xing/codellama.md)           | 7B-34B   | 代码补全           |
| [GLM-4.7-Flash](/guides/guides_v2-zh/yu-yan-mo-xing/glm-47-flash.md)    | 4.7B     | 中英文高速          |
| [GLM-5](/guides/guides_v2-zh/yu-yan-mo-xing/glm5.md)                    | 待定       | 智谱 AI 最新版      |
| [Kimi K2.5](/guides/guides_v2-zh/yu-yan-mo-xing/kimi-k2.md)             | 待定       | Moonshot AI 模型 |
| [Ling-2.5-1T](/guides/guides_v2-zh/yu-yan-mo-xing/ling25.md)            | 1T       | 超大开源 LLM       |
| [LFM2-24B](/guides/guides_v2-zh/yu-yan-mo-xing/lfm2-24b.md)             | 24B      | Liquid AI 模型   |
| [MiMo-V2-Flash](/guides/guides_v2-zh/yu-yan-mo-xing/mimo-v2-flash.md)   | 待定       | 快速推理模型         |

### 高效模型

| 模型                                                                        | 参数        | 最适合            |
| ------------------------------------------------------------------------- | --------- | -------------- |
| [Gemma 2](/guides/guides_v2-zh/yu-yan-mo-xing/gemma2.md)                  | 2B-27B    | 高效推理           |
| [Gemma 3](/guides/guides_v2-zh/yu-yan-mo-xing/gemma3.md)                  | 待定        | 谷歌最新轻量版        |
| [Phi-4](/guides/guides_v2-zh/yu-yan-mo-xing/phi4.md)                      | 14B       | 小巧但强大          |
| [Mistral/Mixtral](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-mixtral.md) | 7B / 8x7B | 通用             |
| [Mistral Large 3](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-large3.md)  | 675B MoE  | 企业级            |
| [Mistral Small 3.1](/guides/guides_v2-zh/yu-yan-mo-xing/mistral-small.md) | 待定        | 高效的 Mistral 变体 |

## GPU 推荐

{% hint style="warning" %}
**Clore.ai 市场上未列出多 GPU 的 80GB 级机型。** 目前列出的最大配置是 4× RTX PRO 6000 Blackwell（每张 96GB，共 380GB）以及 8–11× RTX 5090（每张 32GB）。A100 / H200 / B200 容量可按 [裸机](https://clore.ai/bare-metal) 需求提供。部署前请查看 [GPU 价格与可用性](/guides/guides_v2-zh/ru-men-zhi-nan/pricing.md) 。
{% endhint %}

| 模型大小      | 最低 GPU        | 推荐                   | Clore.ai 成本     |
| --------- | ------------- | -------------------- | --------------- |
| 7B（Q4）    | RTX 3060 12GB | RTX 3090             | $0.03–0.21/小时   |
| 13B（Q4）   | RTX 3090 24GB | RTX 4090             | $0.07–0.42/小时   |
| 27B（Q4）   | RTX 3090 24GB | RTX 4090 / 5090      | $0.07–0.77/小时   |
| 34B（Q4）   | 2× RTX 3090   | 1× RTX 5090          | $0.14–0.77/小时   |
| 70B（Q4）   | 2× RTX 5090   | 1× RTX PRO 6000 96GB | $0.50–1.54/小时   |
| 120B+（Q2） | 2× RTX 4090   | 2× RTX 5090          | $0.28–1.54/小时   |
| 400B+（Q2） | 8× RTX 5090   | 4× RTX PRO 6000      | 约 $2.00–5.00/小时 |

## 量化指南

| 格式       | VRAM 占用 | 质量 | 速度 |
| -------- | ------- | -- | -- |
| Q2\_K    | 最低      | 较差 | 最快 |
| Q4\_K\_M | 低       | 好  | 快  |
| Q5\_K\_M | 中等      | 很高 | 中等 |
| Q8\_0    | 高       | 优秀 | 较慢 |
| FP16     | 最高      | 最佳 | 最慢 |

## 另请参阅

* [训练与微调](/guides/guides_v2-zh/xun-lian/training.md)
* [视觉-语言模型](/guides/guides_v2-zh/shi-jue-mo-xing/vision-models.md)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-zh/yu-yan-mo-xing/language-models.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.