Dia TTS (Nari Labs)

Генерируйте многоголосный диалог с эмоциями с помощью Dia TTS от Nari Labs

Dia от Nari Labs — это продвинутая модель преобразования текста в речь, которая специализируется на реалистичных многоголосых диалогах. В отличие от традиционного TTS, который обрабатывает одного говорящего за раз, Dia генерирует естественные разговоры между несколькими говорящими с эмоциями, смехом, колебаниями и другими невербальными сигналами. При 1,6 миллиардах параметров она работает на любой видеокарте с 8 ГБ и более.

Ключевые особенности

• Многоголосые диалоги: Генерирует разговоры между 2 и более говорящими за один проход

• Невербальные сигналы: Смех (смеётся), колебания (вздыхает), паузы — автоматически встраиваются

• Эмоциональная речь: Естественная интонация без явных тегов эмоций

• 1,6B параметров: Помещается на RTX 3070/3080 (8–10 ГБ видеопамяти)

• Лицензия Apache 2.0: Полное коммерческое использование

• Интеграция с HuggingFace: Работает с библиотекой Transformers

Требования

Компонент	Минимум	Рекомендуется
GPU	RTX 3070 (8GB)	RTX 3080 (10GB)
VRAM	8GB	10GB+
ОЗУ	16GB	32GB
Диск	10GB	15GB
Python	3.9+	3.11

Рекомендуемый GPU на Clore.ai: RTX 3080 10GB (~$0.2–0.5/день)

Установка

# Вариант 1: pip install
pip install dia-tts

# Вариант 2: Из исходников
git clone https://github.com/nari-labs/dia.git
cd dia
pip install -e .

Быстрый старт

Базовый многоголосый диалог

from dia import Dia

# Загрузить модель
model = Dia.from_pretrained("nari-labs/Dia-1.6B")

# Сгенерировать многоголосый разговор
# [S1] = Говорящий 1, [S2] = Говорящий 2
text = """[S1] Эй, ты пробовал новую платформу для аренды GPU?
[S2] Ты про Clore? Да, я арендовал RTX 4090 вчера.
[S1] Как прошло?
[S2] (смеётся) Честно? Гораздо дешевле, чем я ожидал. Примерно два бакса в день.
[S1] Не может быть. Это... это действительно безумие."""

audio = model.generate(text)

# Сохранить в файл
import soundfile as sf
sf.write("dialog.wav", audio, samplerate=24000)

С эмоциями и невербальными сигналами

# Dia автоматически обрабатывает естественные речевые паттерны
text = """[S1] Я только что получил результаты...
[S2] И? Не томи меня!
[S1] (вздыхает) Мы прошли. Мы действительно прошли все тесты.
[S2] (смеётся) Я же говорила! Я говорила, что у нас получится!
[S1] Не могу в это поверить... (смеётся) Ладно, ладно, давайте праздновать."""

audio = model.generate(text, temperature=0.8)
sf.write("emotional_dialog.wav", audio, samplerate=24000)

Один говорящий

# Работает и для одного говорящего
text = "[S1] Добро пожаловать в документацию Clore AI. В этом руководстве мы пройдём по настройке вашей первой аренды GPU и развертыванию модели машинного обучения."

audio = model.generate(text)
sf.write("narration.wav", audio, samplerate=24000)

Веб-интерфейс Gradio

# Запустить интерактивную демонстрацию
python -m dia.app --port 7860 --share

# Или вручную:
import gradio as gr
from dia import Dia

model = Dia.from_pretrained("nari-labs/Dia-1.6B")

def generate_speech(text):
    audio = model.generate(text)
    return (24000, audio)

demo = gr.Interface(
    fn=generate_speech,
    inputs=gr.Textbox(label="Диалог (используйте теги [S1], [S2])", lines=10),
    outputs=gr.Audio(label="Generated Speech"),
    title="Dia TTS — Многоголосый диалог"
)
demo.launch(server_port=7860)

Сценарии использования

• Генерация подкастов: Создавайте разговорные подкасты по сценариям

• Диалоги для аудиокниг: Генерируйте диалоги персонажей с различными голосами

• Диалоги для игр: Разговоры NPC с естественными речевыми паттернами

• Данные для обучения: Генерируйте разнообразные речевые датасеты для обучения ASR

• Голоса для чатботов: Многотуровые диалоги с эмоциональными ответами

Советы для пользователей Clore.ai

• RTX 3080 — идеально: 10 ГБ видеопамяти легко справляются с Dia примерно за ~$0.2–0.5/день

• Пакетная генерация: Обрабатывайте несколько диалогов в цикле, чтобы максимально использовать время аренды

• Сохраняйте модели на постоянном хранилище: Если у вашего экземпляра Clore есть постоянный диск, кешируйте модель, чтобы избежать повторной загрузки

• Температура 0.7–0.9: Ниже = более последовательный, выше = более выразительный/разнообразный

• Только английский: В настоящее время Dia ориентирована на английский — для многоязычности см. руководство Qwen3-TTS

Устранение неполадок

Проблема	Решение
CUDA — недостаточно памяти	Используйте model.to("cuda", torch_dtype=torch.float16) для половинной точности
Голоса говорящих похожи	Добавьте больше текста/контекста для каждого говорящего; попробуйте увеличить температуру
Невербальные сигналы игнорируются	Убедитесь в правильном формате: (смеётся), (вздыхает) в скобках
Низкое качество аудио	Увеличьте num_steps параметр, если он доступен; убедитесь в частоте дискретизации 24 кГц

Дополнительное чтение

• GitHub Nari Labs

• Модель на HuggingFace

• Сравнение: Dia vs ElevenLabs — официальная демонстрационная страница