ChatTTS 对话语音

在 Clore.ai 的 GPU 上运行 ChatTTS 对话式文本转语音，并提供细粒度韵律控制。

ChatTTS 是一个用于对话场景（如大型语言模型助手、聊天机器人和交互式语音应用）的 3 亿参数生成语音模型。它能生成具有自然停顿、笑声、填充词和语调的自然语音——这些特征大多数 TTS 系统难以重现。该模型支持英语和中文，并以 24 kHz 生成音频。

GitHub： 2noise/ChatTTS （30K+ 星） 许可： AGPLv3+（代码），CC BY-NC 4.0（模型权重——非商业）

主要特性

• 对话韵律 — 为对话调整的自然停顿、填充词和语调

• 精细控制标签 — [oral_0-9], [laugh_0-2], [break_0-7], [uv_break], [lbreak]

• 多说话人 — 随机采样说话人或重用说话人嵌入以保持一致性

• 温度 / top-P / top-K — 控制生成多样性

• 批量推理 — 在一次调用中合成多条文本

• 轻量级 — 约 3 亿参数，4 GB 显存即可运行

要求

组件	最低	推荐
GPU	RTX 3060（4 GB 空闲）	RTX 3090 / RTX 4090
显存	4 GB	8 GB 及以上
内存	8 GB	16 GB
磁盘	5 GB	10 GB
Python	3.9+	3.11
CUDA	11.8+	12.1+

Clore.ai 建议： 一块 RTX 3060（（$0.15–0.30/天）可轻松运行 ChatTTS。对于批量生产或更低延迟，请选择 RTX 3090（（$0.30–1.00/天）。

安装

# 从 PyPI 安装
pip install ChatTTS torch torchaudio

# 或从源码安装以获取最新功能
git clone https://github.com/2noise/ChatTTS.git
cd ChatTTS
pip install -r requirements.txt

# 验证 GPU
python -c "import torch; print(torch.cuda.get_device_name(0))"

快速开始

import ChatTTS
import torch
import torchaudio

# 初始化并加载模型（首次运行时会下载权重）
chat = ChatTTS.Chat()
chat.load(compile=False)  # 在预热后将 compile=True 以获得更快的推理

texts = [
    "嗨！你今天过得怎么样？",
    "我整个上午都在做这个项目。进展不错。",
]

wavs = chat.infer(texts)

for i, wav in enumerate(wavs):
    audio_tensor = torch.from_numpy(wav)
    if audio_tensor.dim() == 1:
        audio_tensor = audio_tensor.unsqueeze(0)
    torchaudio.save(f"output_{i}.wav", audio_tensor, 24000)
    print(f"已保存 output_{i}.wav")

使用示例

一致的说话人音色

采样一个随机的说话人嵌入并在多次生成中复用它以保持一致的声音：

import ChatTTS
import torch
import torchaudio

chat = ChatTTS.Chat()
chat.load(compile=False)

# 采样一个说话人 —— 将此字符串保存以便以后重用
rand_spk = chat.sample_random_speaker()

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb=rand_spk,
    temperature=0.3,
    top_P=0.7,
    top_K=20,
)

params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_4]',
)

texts = ["欢迎收听今天的节目。让我告诉你一些令人兴奋的事情。"]

wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

audio = torch.from_numpy(wavs[0])
if audio.dim() == 1:
    audio = audio.unsqueeze(0)
torchaudio.save("consistent_speaker.wav", audio, 24000)

词级控制标签

将控制标签直接插入文本以获得精确的韵律：

import ChatTTS
import torch
import torchaudio

chat = ChatTTS.Chat()
chat.load(compile=False)

# 标签：[uv_break] = 短暂停，[laugh] = 笑声，[lbreak] = 长暂停
text = 'What is [uv_break]your favorite food?[laugh][lbreak]'

rand_spk = chat.sample_random_speaker()
params = ChatTTS.Chat.InferCodeParams(spk_emb=rand_spk, temperature=0.3)

# skip_refine_text=True 会保留你手动的控制标签
wavs = chat.infer(text, skip_refine_text=True, params_infer_code=params)

audio = torch.from_numpy(wavs[0])
if audio.dim() == 1:
    audio = audio.unsqueeze(0)
torchaudio.save("controlled_output.wav", audio, 24000)

带 WebUI 的批量处理

ChatTTS 附带用于交互使用的 Gradio 网页界面：

cd ChatTTS
python examples/web/webui.py --server_name 0.0.0.0 --server_port 7860

打开 http_pub 从你的 Clore.ai 订单仪表板获取的 URL 以访问界面。

给 Clore.ai 用户的提示

• 使用 compile=True 在初始测试之后 — PyTorch 编译会增加启动时间，但会显著加速重复推理

• 端口映射 — 暴露端口 7860/http 在使用 WebUI 部署时

• Docker 镜像 — 使用 pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime 作为基础

• 说话人持久化 — 保存 rand_spk 字符串到文件，以便在会话之间重用声音而无需重新采样

• 批量请求 — chat.infer() 接受文本列表并一起处理，这比逐条调用更高效

• 非商业许可证 — 模型权重为 CC BY-NC 4.0；请根据你的使用场景检查许可要求

# 使用固定种子以获得一致结果

问题	解决方案
CUDA 内存不足（out of memory）	减少批量大小或使用 ≥ 6 GB 显存的 GPU
模型下载缓慢	提前从 HuggingFace 预下载： huggingface-cli download 2Noise/ChatTTS
音频有静电/噪声	这是开源模型中的刻意设计（反滥用措施）；使用 compile=True 以获得更清洁的输出
torchaudio.save 维度错误	确保张量为 2D： audio.unsqueeze(0) 如有需要
中文输出乱码	确保输入文本为 UTF-8 编码；安装 WeTextProcessing 以获得更好的规范化
第一次推理慢	正常 —— 模型编译和权重加载发生在首次调用；后续调用会更快