Chatterbox 声音克隆
在 Clore.ai GPU 上运行 Resemble AI 的 Chatterbox TTS,用于零样本声音克隆和多语言语音合成。
Chatterbox 是由以下团队推出的一系列最先进的开源文本转语音模型: Resemble AI。它可通过一段简短的参考音频(约 10 秒)进行零样本语音克隆,支持诸如 [laugh] 以及 [cough]之类的副语言标签,并提供覆盖 23 种以上语言的多语言版本。提供三种模型变体:Turbo(350M,低延迟)、Original(500M,创意控制)和 Multilingual(500M,23+ 种语言)。
GitHub: resemble-ai/chatterbox PyPI: chatterbox-tts 许可证: MIT
主要特性
零样本声音克隆 —— 仅需约 10 秒参考音频即可克隆任何声音
副语言标签 (Turbo)—
[laugh],[cough],[chuckle],[sigh]用于逼真的语音23+ 种语言 (Multilingual)— 阿拉伯语、中文、法语、德语、日语、韩语、俄语、西班牙语等
CFG 与夸张度调节 (Original)— 对表现力的创意控制
三种模型大小 — Turbo(350M)、Original(500M)、Multilingual(500M)
MIT 许可证 —— 可完全用于商业用途
需求
GPU
RTX 3060 12 GB
RTX 3090 / RTX 4090
显存
6 GB
10 GB+
内存
8 GB
16 GB
磁盘
5 GB
15 GB
Python
3.10+
3.11
CUDA
12.8+
12.8+
Clore.ai 推荐: RTX 3090($0.07–0.21/小时),可提供舒适的显存余量。RTX 3060 可用于 Turbo 模型。对于长文本的 Multilingual 模型,建议使用 RTX 4090($0.14–0.42/小时)。
安装
快速开始
Turbo 模型(最低延迟)
Original 模型(英文,创意控制)
使用示例
多语言语音克隆
副语言标签(Turbo)
批处理脚本
给 Clore.ai 用户的建议
模型选择 —— 低延迟语音代理使用 Turbo,英语创作使用 Original,非英语内容使用 Multilingual
参考音频质量 —— 使用干净、无噪声的 10–30 秒片段以获得最佳语音克隆效果
Docker 设置 —— 基础镜像
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime,暴露端口7860/http供 Gradio 使用内存管理 —— 调用
torch.cuda.empty_cache()在大型批次之间以释放 VRAM支持的语言 —— ar、da、de、el、en、es、fi、fr、he、hi、it、ja、ko、ms、nl、no、pl、pt、ru、sv、sw、tr、zh
HuggingFace Space —— 在租用之前先试用: huggingface.co/spaces/ResembleAI/Chatterbox
故障排查
CUDA 内存不足
使用 Turbo(350M)代替 Original/Multilingual(500M),或者租用更大的 GPU
克隆的声音不匹配
使用更长(15–30 秒)、更干净且背景噪音更少的参考片段
numpy 版本冲突
运行 pip install numpy==1.26.4 --force-reinstall
模型下载缓慢
模型在首次运行时会从 HuggingFace 获取(约 2 GB);可预先下载: huggingface-cli
音频有瑕疵
减少每次生成的文本长度;非常长的文本会降低质量
ModuleNotFoundError
确保 pip install chatterbox-tts 已无错误完成;请检查与 Python 3.11 的兼容性
最后更新于
这有帮助吗?