For the complete documentation index, see llms.txt. This page is also available as Markdown.

Chatterbox 声音克隆

在 Clore.ai GPU 上运行 Resemble AI 的 Chatterbox TTS,用于零样本声音克隆和多语言语音合成。

Chatterbox 是由以下团队推出的一系列最先进的开源文本转语音模型: Resemble AI。它可通过一段简短的参考音频(约 10 秒)进行零样本语音克隆,支持诸如 [laugh] 以及 [cough]之类的副语言标签,并提供覆盖 23 种以上语言的多语言版本。提供三种模型变体:Turbo(350M,低延迟)、Original(500M,创意控制)和 Multilingual(500M,23+ 种语言)。

Multilingual V3 现在是推荐的多语言检查点。 与上一个版本相同的 0.5B 规模,但说话人相似度更好、幻觉更少,并且在所有支持的语言中都能生成更自然的语音。以下内容均无需更改——拉取当前权重即可获得 V3。

GitHub: resemble-ai/chatterbox PyPI: chatterbox-tts 许可证: MIT

主要特性

  • 零样本声音克隆 —— 仅需约 10 秒参考音频即可克隆任何声音

  • 副语言标签 (Turbo)— [laugh], [cough], [chuckle], [sigh] 用于逼真的语音

  • 23+ 种语言 (Multilingual)— 阿拉伯语、中文、法语、德语、日语、韩语、俄语、西班牙语等

  • CFG 与夸张度调节 (Original)— 对表现力的创意控制

  • 三种模型大小 — Turbo(350M)、Original(500M)、Multilingual(500M)

  • MIT 许可证 —— 可完全用于商业用途

需求

组件
最低
推荐

GPU

RTX 3060 12 GB

RTX 3090 / RTX 4090

显存

6 GB

10 GB+

内存

8 GB

16 GB

磁盘

5 GB

15 GB

Python

3.10+

3.11

CUDA

12.8+

12.8+

Clore.ai 推荐: RTX 3090($0.07–0.21/小时),可提供舒适的显存余量。RTX 3060 可用于 Turbo 模型。对于长文本的 Multilingual 模型,建议使用 RTX 4090($0.14–0.42/小时)。

安装

快速开始

Turbo 模型(最低延迟)

Original 模型(英文,创意控制)

使用示例

多语言语音克隆

副语言标签(Turbo)

批处理脚本

给 Clore.ai 用户的建议

  • 模型选择 —— 低延迟语音代理使用 Turbo,英语创作使用 Original,非英语内容使用 Multilingual

  • 参考音频质量 —— 使用干净、无噪声的 10–30 秒片段以获得最佳语音克隆效果

  • Docker 设置 —— 基础镜像 pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime,暴露端口 7860/http 供 Gradio 使用

  • 内存管理 —— 调用 torch.cuda.empty_cache() 在大型批次之间以释放 VRAM

  • 支持的语言 —— ar、da、de、el、en、es、fi、fr、he、hi、it、ja、ko、ms、nl、no、pl、pt、ru、sv、sw、tr、zh

  • HuggingFace Space —— 在租用之前先试用: huggingface.co/spaces/ResembleAI/Chatterbox

故障排查

问题
解决方案

CUDA 内存不足

使用 Turbo(350M)代替 Original/Multilingual(500M),或者租用更大的 GPU

克隆的声音不匹配

使用更长(15–30 秒)、更干净且背景噪音更少的参考片段

numpy 版本冲突

运行 pip install numpy==1.26.4 --force-reinstall

模型下载缓慢

模型在首次运行时会从 HuggingFace 获取(约 2 GB);可预先下载: huggingface-cli

音频有瑕疵

减少每次生成的文本长度;非常长的文本会降低质量

ModuleNotFoundError

确保 pip install chatterbox-tts 已无错误完成;请检查与 Python 3.11 的兼容性

最后更新于

这有帮助吗?