Ollama

在 Clore.ai 的 GPU 上使用 Ollama 本地运行 LLM

在 CLORE.AI GPU 上本地运行 LLM 的最简单方式。

当前版本：v0.6+ — 本指南涵盖 Ollama v0.6 及更高版本。主要新功能包括结构化输出（JSON Schema 强制）、兼容 OpenAI 的 embeddings 端点（/api/embed），以及并发模型加载（无需交换即可同时运行多个模型）。详情请参见 v0.6+ 新增内容 。

所有示例都可以在通过 CLORE.AI Marketplace.

服务器要求

参数	最低	推荐
RAM	8GB	16GB+
VRAM	6GB	8GB+
网络	100Mbps	500Mbps+
启动时间	约 30 秒	-

Ollama 很轻量，适用于大多数 GPU 服务器。对于更大的模型（13B+），请选择配备 16GB+ RAM 和 12GB+ VRAM 的服务器。

为什么选择 Ollama？

• 一条命令即可设置 - 无需 Python，无需依赖项

• 模型库 - 使用以下命令下载模型： ollama pull

• 兼容 OpenAI 的 API - 可直接替换使用

• GPU 加速 - 自动检测 CUDA

• 多模型 - 同时运行多个模型（v0.6+）

在 CLORE.AI 上快速部署

Docker 镜像：

ollama/ollama

端口：

22/tcp
11434/http

命令：

ollama serve

验证是否正常工作

部署后，找到你的 http_pub URL 于 我的订单 并测试：

# 请替换为你实际的 http_pub URL
curl https://your-http-pub.clorecloud.net/

# 预期响应："Ollama is running"

如果你收到 HTTP 502，请等待 30-60 秒——服务仍在启动中。

访问你的服务

在 CLORE.AI 上部署后，可通过以下方式访问你的 Ollama 实例： http_pub URL：

# 在“我的订单”中找到你的 http_pub，然后：
curl https://your-http-pub.clorecloud.net/api/tags

# 对于 API 调用，请使用你的 http_pub URL：
curl https://your-http-pub.clorecloud.net/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hello!"}],
  "stream": false
}'

所有 localhost:11434 以下示例在通过 SSH 连接时可正常工作。对于外部访问，请替换为你的 https://your-http-pub.clorecloud.net/ URL。

安装

使用 Docker（推荐）

docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

手动安装

curl -fsSL https://ollama.com/install.sh | sh

这一条命令会安装最新版 Ollama，设置 systemd 服务，并自动配置 GPU 检测。适用于 Ubuntu、Debian、Fedora 以及大多数现代 Linux 发行版。

运行模型

拉取并运行

# 拉取模型
ollama pull llama3.2

# 运行交互式聊天
ollama run llama3.2

# 使用提示词运行
ollama run llama3.2 "解释什么是量子计算"

热门模型

模型	大小	使用场景
llama3.2	3B	快速、通用
llama3.1	8B	质量更好
llama3.1:70b	70B	最佳质量
mistral	7B	快速，质量不错
mixtral	47B	MoE，高质量
codellama	7-34B	代码生成
deepseek-coder-v2	16B	最适合代码
deepseek-r1	7B-671B	推理模型
deepseek-r1:32b	32B	平衡推理
qwen2.5	7B	多语言
qwen2.5:72b	72B	最佳 Qwen 质量
phi4	14B	微软最新模型
gemma2	9B	谷歌的模型

模型变体

# 量化变体
ollama pull llama3.1:8b-instruct-q4_K_M   # 4 位（更小、更快）
ollama pull llama3.1:8b-instruct-q8_0     # 8 位（质量更好）
ollama pull llama3.1:8b-instruct-fp16     # 全精度

# 尺寸变体
ollama pull llama3.1:8b    # 80 亿参数
ollama pull llama3.1:70b   # 700 亿参数

# 新模型（v0.6+ 时代）
ollama pull deepseek-r1:7b      # 推理，低成本
ollama pull deepseek-r1:14b     # 推理，高效率
ollama pull deepseek-r1:32b     # 推理，平衡
ollama pull deepseek-r1:70b     # 推理，高质量
ollama pull qwen2.5:72b         # 最大的 Qwen，顶级质量
ollama pull phi4                # Microsoft Phi-4 14B

v0.6+ 新增内容

Ollama v0.6 为生产工作负载引入了多个重要功能：

结构化输出（JSON Schema）

强制模型响应匹配特定的 JSON Schema。适用于需要可靠、可解析输出的应用：

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "告诉我关于加拿大的信息。"}],
  "format": {
    "type": "object",
    "properties": {
      "name": {"type": "string"},
      "capital": {"type": "string"},
      "population": {"type": "integer"},
      "languages": {
        "type": "array",
        "items": {"type": "string"}
      }
    },
    "required": ["name", "capital", "population", "languages"]
  },
  "stream": false
}'

使用结构化输出的 Python 示例：

from openai import OpenAI
import json

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

response = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "列出 3 种编程语言及其主要用途"}],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "languages",
            "schema": {
                "type": "object",
                "properties": {
                    "languages": {
                        "type": "array",
                        "items": {
                            "type": "object",
                            "properties": {
                                "name": {"type": "string"},
                                "use_case": {"type": "string"},
                                "popularity_rank": {"type": "integer"}
                            }
                        }
                    }
                }
            }
        }
    }
)

data = json.loads(response.choices[0].message.content)
print(data)

兼容 OpenAI 的 Embeddings 端点（/api/embed)

v0.6+ 新增： /api/embed 端点与 OpenAI 完全兼容，并支持批量输入：

# 单文本 embedding
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text",
  "input": "Hello world"
}'

# 批量 embeddings（v0.6 新增）
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text",
  "input": ["First document", "Second document", "Third document"]
}'

OpenAI 客户端可直接与 /v1/embeddings:

from openai import OpenAI
import numpy as np

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

# 先拉取 embedding 模型：ollama pull nomic-embed-text
response = client.embeddings.create(
    model="nomic-embed-text",
    input=["Hello world", "Goodbye world"]
)

emb1 = np.array(response.data[0].embedding)
emb2 = np.array(response.data[1].embedding)

# 余弦相似度
similarity = np.dot(emb1, emb2) / (np.linalg.norm(emb1) * np.linalg.norm(emb2))
print(f"相似度：{similarity:.4f}")

热门 embedding 模型：

ollama pull nomic-embed-text      # 1.37 亿，快速，质量不错
ollama pull mxbai-embed-large     # 3.35 亿，质量更高
ollama pull all-minilm            # 2300 万，最快

并发模型加载

在 v0.6 之前，Ollama 会卸载一个模型以加载另一个模型。v0.6+ 支持同时运行多个模型，仅受可用 VRAM 限制：

# 同时加载两个模型
ollama run llama3.2 &
ollama run deepseek-r1:7b &

# 查看正在运行的内容
curl http://localhost:11434/api/ps

配置并发：

# 允许同时加载最多 4 个模型
OLLAMA_MAX_LOADED_MODELS=4 ollama serve

# 每个运行器在独立进程中运行（隔离更好）
OLLAMA_NUM_PARALLEL=2 ollama serve

这在以下场景中特别有用：

• 对不同模型进行 A/B 测试

• 用于不同任务的专用模型（编码 + 聊天）

• 将常用模型保持在 VRAM 中以保持热启动

API 使用

聊天完成

# 通过 http_pub（外部访问）：
curl https://your-http-pub.clorecloud.net/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hello!"}],
  "stream": false
}'

# 通过 SSH 隧道（localhost）：
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hello!"}],
  "stream": false
}'

添加 "stream": false 以一次性获得完整响应，而不是流式输出。

兼容 OpenAI 的端点

from openai import OpenAI

# 对于外部访问，请使用你的 http_pub URL：
client = OpenAI(
    base_url="https://your-http-pub.clorecloud.net/v1",
    api_key="ollama"  # 任意字符串都可以
)

# 或通过 SSH 隧道：
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

response = client.chat.completions.create(
    model="llama3.2",
    messages=[
        {"role": "user", "content": "什么是机器学习？"}
    ]
)

print(response.choices[0].message.content)

流式输出

stream = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "写一首诗"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Embeddings

# 旧版端点（仍可使用）
curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "Hello world"
}'

# 新的 v0.6+ 端点（支持批量，兼容 OpenAI）
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text",
  "input": ["Hello world", "Another text"]
}'

文本生成（非聊天）

curl https://your-http-pub.clorecloud.net/api/generate -d '{
  "model": "llama3.2",
  "prompt": "人生的意义是",
  "stream": false
}'

完整 API 参考

所有端点都可同时通过以下方式工作： http://localhost:11434 （通过 SSH）以及 https://your-http-pub.clorecloud.net （外部）。

模型管理

端点	方法	描述
/api/tags	GET	列出所有已下载模型
/api/show	POST	获取模型详情
/api/pull	POST	下载模型
/api/delete	DELETE	删除模型
/api/ps	GET	列出当前正在运行的模型
/api/version	GET	获取 Ollama 版本

列出模型

curl https://your-http-pub.clorecloud.net/api/tags

响应：

{
  "models": [
    {"name": "llama3.2:latest", "size": 2019393189, "digest": "...", "modified_at": "..."}
  ]
}

显示模型详情

curl https://your-http-pub.clorecloud.net/api/show -d '{"name": "llama3.2"}'

通过 API 拉取模型

curl https://your-http-pub.clorecloud.net/api/pull -d '{
  "name": "mistral:7b",
  "stream": false
}'

响应：

{"status": "success"}

大型模型下载可能需要几分钟。对于超大型模型（30GB+），可考虑使用 SSH 和 CLI： ollama pull model-name

删除模型

curl -X DELETE https://your-http-pub.clorecloud.net/api/delete -d '{"name": "mistral:7b"}'

列出正在运行的模型

curl https://your-http-pub.clorecloud.net/api/ps

响应：

{
  "models": [
    {"name": "llama3.2:latest", "size": 2019393189, "expires_at": "2025-01-25T12:00:00Z"}
  ]
}

获取版本

curl https://your-http-pub.clorecloud.net/api/version

响应：

{"version": "0.6.8"}

推理端点

端点	方法	描述
/api/generate	POST	文本补全
/api/chat	POST	聊天补全
/api/embeddings	POST	生成 embeddings（旧版）
/api/embed	POST	生成 embeddings v0.6+（批量，兼容 OpenAI）
/v1/chat/completions	POST	兼容 OpenAI 的聊天
/v1/embeddings	POST	兼容 OpenAI 的 embeddings

自定义模型创建

通过 API 创建带有特定系统提示词的自定义模型：

curl https://your-http-pub.clorecloud.net/api/create -d '{
  "name": "my-assistant",
  "modelfile": "FROM llama3.2\nSYSTEM 你是一个乐于助人的编码助手。"
}'

GPU 配置

检查 GPU 使用情况

# 在容器或服务器中
nvidia-smi

# Ollama 会在日志中显示 GPU
ollama run llama3.2 --verbose

多 GPU

Ollama 会自动使用可用的 GPU。若要指定 GPU：

CUDA_VISIBLE_DEVICES=0 ollama serve

内存管理

# 设置 GPU 内存限制
OLLAMA_GPU_MEMORY=8GiB ollama serve

# 保持模型加载
OLLAMA_KEEP_ALIVE=24h ollama serve

# 允许并发模型（v0.6+）
OLLAMA_MAX_LOADED_MODELS=3 ollama serve

自定义模型（Modelfile）

使用系统提示词创建自定义模型：

# Modelfile
FROM llama3.2

SYSTEM 你是一个乐于助人的编码助手。始终提供代码示例。

PARAMETER temperature 0.7
PARAMETER top_p 0.9

ollama create coding-assistant -f Modelfile
ollama run coding-assistant

作为服务运行

Systemd

# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama 服务
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/ollama serve
Restart=always
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=multi-user.target

systemctl enable ollama
systemctl start ollama

性能提示

1. 使用合适的量化

   • Q4_K_M 追求速度

   • Q8_0 追求质量

   • fp16 追求最高质量

2. 让模型匹配 VRAM

   • 8GB：7B 模型（Q4）

   • 16GB：13B 模型或 7B（Q8）

   • 24GB：34B 模型（Q4）

   • 48GB+：70B 模型

3. 保持模型加载

   OLLAMA_KEEP_ALIVE=1h ollama serve

4. 快速 SSD 可提升性能

   • 模型加载和 KV 缓存都受益于快速存储

   • 配备 NVMe SSD 的服务器可获得 2-3 倍更好的性能

基准测试

生成速度（tokens/秒）

模型	RTX 3060	RTX 3090	RTX 4090	A100 40GB
Llama 3.2 3B (Q4)	120	160	200	220
Llama 3.1 8B (Q4)	60	100	130	150
Llama 3.1 8B (Q8)	45	80	110	130
Mistral 7B (Q4)	70	110	140	160
Mixtral 8x7B (Q4)	-	35	55	75
Llama 3.1 70B (Q4)	-	-	18	35
DeepSeek-R1 7B (Q4)	65	105	135	155
DeepSeek-R1 32B (Q4)	-	-	22	42
Qwen2.5 72B (Q4)	-	-	15	30
Phi-4 14B (Q4)	-	50	75	90

基准测试更新于 2026 年 1 月。实际速度可能因服务器配置而异。

首个 token 时间（毫秒）

模型	RTX 3090	RTX 4090	A100
3B	50	35	25
7-8B	120	80	60
13B	250	150	100
34B	600	350	200
70B	-	1200	500

上下文长度 vs VRAM（Q4）

模型	2K 上下文	4K 上下文	8K 上下文	16K 上下文
7B	5GB	6GB	8GB	12GB
13B	8GB	10GB	14GB	22GB
34B	20GB	24GB	32GB	48GB
70B	40GB	48GB	64GB	96GB

GPU 要求

模型	Q4 VRAM	Q8 VRAM
3B	3GB	5GB
7-8B	5GB	9GB
13B	8GB	15GB
34B	20GB	38GB
70B	40GB	75GB

成本估算

CLORE.AI 市场典型费率：

GPU	VRAM	价格/天	适合用途
RTX 3090	24GB	$0.30–1.00	13B-34B 模型
RTX 4090	24GB	$0.50–2.00	34B 模型，快速
RTX 4070	12GB	$0.20–0.50	7B 模型
A100 80GB	80GB	$1.50–3.00	70B 模型

价格为美元/天。费率因提供商而异 — 查看 CLORE.AI Marketplace 以获取当前费率。

故障排查

模型无法加载

# 检查可用内存
nvidia-smi

# 尝试更小的量化
ollama pull llama3.1:8b-q4_0

生成缓慢

# 检查是否使用了 GPU
ollama run llama3.2 --verbose

# 确保 CUDA 可用
nvidia-smi

连接被拒绝

# 确保服务器正在运行
ollama serve

# 检查是否绑定到所有接口
OLLAMA_HOST=0.0.0.0 ollama serve

http_pub URL 上出现 HTTP 502

这意味着服务仍在启动。等待 30-60 秒后重试：

# 检查服务是否就绪
curl https://your-http-pub.clorecloud.net/

# 预期："Ollama is running"
# 如果是 502：等待并重试

下一步

• Open WebUI - Ollama 的美观聊天界面

• vLLM - 高吞吐量生产服务

• DeepSeek-R1 - 推理模型

• DeepSeek-V3 - 最佳通用模型

• Qwen2.5 - 多语言替代方案

• Text Generation WebUI - 高级功能