TabbyML 代码补全

在 Clore.ai 上自托管 TabbyML，作为私有的 GitHub Copilot 替代方案

TabbyML 是一个自托管的 AI 代码补全服务器——可直接替代 GitHub Copilot，并将你的代码完全保留在你自己的基础设施上。它采用 Apache 2.0 许可，可在 Clore.ai 的 GPU 上运行，并通过官方扩展连接到 VS Code、JetBrains 和 Vim/Neovim。模型范围从 StarCoder2-1B（可在 4 GB VRAM 上运行）到 StarCoder2-15B 和 DeepSeek-Coder，以获得最高质量。

所有示例都运行在通过以下方式租用的 GPU 服务器上： CLORE.AI 市场.

主要特性

• 自托管的 Copilot 替代方案 — 你的代码永远不会离开你的服务器

• Apache 2.0 许可证 — 可用于商业用途，无限制

• IDE 扩展 — VS Code、JetBrains（IntelliJ、PyCharm、WebStorm）、Vim/Neovim

• 多种模型 — StarCoder2（1B/3B/7B/15B）、DeepSeek-Coder、CodeLlama

• 仓库上下文 — 基于 RAG 的代码检索，为感知项目的补全提供支持

• Docker 部署 — 一条命令即可启动并启用 GPU 支持

• 管理控制台 — 使用分析、模型管理、用户管理

• 聊天界面 — 提问编程问题，超越自动补全

需求

组件	最低	推荐
GPU	RTX 3060 12 GB	RTX 3080 10 GB+
显存	4 GB	10 GB
内存	8 GB	16 GB
磁盘	20 GB	50 GB
CUDA	12.8+	12.8+

Clore.ai 价格： RTX 3080 ≈ $0.05–0.19/小时 · RTX 3060 ≈ $0.03–0.07/小时

TabbyML 很轻量——即使是 RTX 3060 也能以快速推理运行 StarCoder2-7B。

快速开始

1. 使用 Docker 部署

# GPU 上的 StarCoder2-7B（推荐的质量与速度平衡）
docker run -d \\
  --name tabby \\
  --gpus all \\
  -p 8080:8080 \\
  -v /workspace/tabby-data:/data \\
  tabbyml/tabby \\
  serve \\
  --model StarCoder2-7B \\
  --device cuda

# 验证它正在运行
curl http://localhost:8080/v1/health

2. 选择模型

模型	显存	速度	质量	最适合
StarCoder2-1B	~3 GB	最快	基础	RTX 3060，快速草稿
StarCoder2-3B	~5 GB	快	好	通用开发
StarCoder2-7B	~8 GB	中等	高	推荐默认
StarCoder2-15B	~16 GB	较慢	最佳	复杂代码库
DeepSeek-Coder-6.7B	~8 GB	中等	高	Python、JS、TypeScript
CodeLlama-7B	~8 GB	中等	好	通用

通过更改以下内容切换模型： --model 标志：

# 更轻量的模型，适用于更低 VRAM
docker run -d --gpus all -p 8080:8080 \\
  -v /workspace/tabby-data:/data \\
  tabbyml/tabby serve --model StarCoder2-3B --device cuda

# 适用于最佳质量的最大模型
docker run -d --gpus all -p 8080:8080 \\
  -v /workspace/tabby-data:/data \\
  tabbyml/tabby serve --model StarCoder2-15B --device cuda

3. 安装 IDE 扩展

VS Code：

1. 打开扩展（Ctrl+Shift+X）

2. 搜索“Tabby”并安装官方扩展

3. 打开设置 → 搜索“Tabby”

4. 设置服务器端点： http://<your-clore-ip>:8080

JetBrains（IntelliJ、PyCharm、WebStorm）：

1. 设置 → 插件 → 市场

2. 搜索“Tabby”并安装

3. 设置 → 工具 → Tabby → 服务器端点： http://<your-clore-ip>:8080

Vim/Neovim：

" 使用 vim-plug
Plug 'TabbyML/vim-tabby'

" 在 init.vim / .vimrc 中配置
let g:tabby_server_url = 'http://<your-clore-ip>:8080'

4. 访问管理控制台

打开 http://<your-clore-ip>:8080 在浏览器中。控制台提供：

• 补全使用统计

• 模型状态和性能指标

• 用户和 API 令牌管理

• 仓库索引配置

使用示例

添加仓库上下文（RAG）

为你的仓库建立索引，以获得项目感知的补全：

# 通过管理 API
curl -X POST http://localhost:8080/v1beta/repositories \\
  -H "Content-Type: application/json" \\
  -d '{
    "name": "my-project",
    "git_url": "file:///workspace/my-project"
  }'

# Tabby 会索引仓库，并将其用于上下文感知补全

使用聊天 API

curl http://localhost:8080/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "messages": [
      {"role": "user", "content": "Write a Python function to parse CSV files with error handling"}
    ]
  }'

使用身份验证运行

# 通过管理控制台生成身份验证令牌，然后：
docker run -d --gpus all -p 8080:8080 \\
  -v /workspace/tabby-data:/data \\
  tabbyml/tabby serve \\
  --model StarCoder2-7B \\
  --device cuda

# 在你的 IDE 扩展设置中设置该令牌
# 或者使用 Authorization 请求头：
curl -H "Authorization: Bearer <token>" http://localhost:8080/v1/health

无需 Docker 运行（直接安装）

# 通过 Homebrew 安装（Linux）
curl -fsSL https://raw.githubusercontent.com/TabbyML/tabby/main/install.sh | bash

# 或使用 cargo install
cargo install tabby

# 直接运行
tabby serve --model StarCoder2-7B --device cuda --port 8080

成本对比

解决方案	月成本	隐私	延迟
GitHub Copilot	$19/用户	❌ 云端	~200 毫秒
RTX 3060 上的 TabbyML	~$5–9/月	✅ 自托管	~50 毫秒
RTX 3080 上的 TabbyML	~$9–30/月	✅ 自托管	~30 毫秒
RTX 4090 上的 TabbyML	~$15–60/月	✅ 自托管	~15 毫秒

对于一个小团队（3–5 名开发者）来说，Clore.ai 上的一块 RTX 3080 就能以极低的成本替代多份 Copilot 订阅。

提示

• StarCoder2-7B 是最佳平衡点 — 对大多数团队来说，它在质量与 VRAM 占用之间的比例最佳

• 启用仓库上下文 — RAG 索引可显著提升大型代码库的补全相关性

• 安全地暴露 8080 端口 — 在生产部署中使用 SSH 隧道或带 TLS 的反向代理

• 监控 VRAM 使用情况 — nvidia-smi 以确保模型能够运行，并为推理批处理留出余量

• 使用补全 API 用于 CI/CD 集成——自动化代码审查建议

• Tabby 支持多用户 — 管理控制台允许你为每位开发者创建 API 令牌

• 延迟很重要 — 选择一台在地理位置上离你的团队更近的 Clore.ai 服务器，以获得最快的补全速度

故障排查

问题	解决方案
Docker 容器立即退出	检查日志： docker logs tabby. 可能是 VRAM 不足以运行该模型
IDE 扩展无法连接	验证端点 URL，并检查 Clore.ai 上的防火墙/端口转发
补全速度慢	使用更小的模型，或确保 GPU 未与其他任务共享
CUDA 内存不足	切换到更小的模型（StarCoder2-3B 或 1B）
仓库索引卡住	检查磁盘空间，并确保 git 仓库可访问
身份验证令牌被拒绝	在管理控制台重新生成令牌，并更新 IDE 扩展
远程 IDE 延迟高	使用 SSH 隧道： ssh -L 8080:localhost:8080 root@<clore-ip>

资源

• TabbyML GitHub

• TabbyML 文档

• VS Code 扩展

• CLORE.AI 市场