F5-TTS

Быстрый и плавный text-to-speech с F5-TTS на GPU Clore.ai

Генерируйте естественную речь с F5-TTS — быстрой и плавной TTS-системой.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое F5-TTS?

F5-TTS предлагает:

• Быстрое выполнение (быстрее реального времени)

• Естественная просодия и интонация

• Клонирование голоса без обучения

• Поддержка нескольких языков

Ресурсы

• GitHub: SWivid/F5-TTS

• HuggingFace: SWivid/F5-TTS

• Статья: Статья о F5-TTS

• Демо: HuggingFace Space

Рекомендуемое оборудование

Компонент	Минимум	Рекомендуется	Оптимально
GPU	RTX 3060 12GB	RTX 4080 16GB	RTX 4090 24GB
VRAM	6 ГБ	12GB	16GB
CPU	4 ядра	8 ядер	16 ядер
ОЗУ	16GB	32GB	64GB
Хранилище	20 ГБ SSD	50GB NVMe	100GB NVMe
Интернет	100 Мбит/с	500 Мбит/с	1 Гбит/с

Быстрое развертывание на CLORE.AI

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

Порты:

22/tcp
7860/http

Команда:

pip install f5-tts && \\
f5-tts-webui

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

pip install f5-tts

# Или из исходников
git clone https://github.com/SWivid/F5-TTS.git
cd F5-TTS
pip install -e .

Что вы можете создать

Озвучивание контента

• Производство подкастов

• Озвучка аудиокниг

• Закадровый голос для видео

Доступность

• Экранные дикторы

• Читатели документов

• Учебные материалы

Интерактивные приложения

• Голосовые помощники

• NPC в играх

• Боты службы поддержки

Творческие проекты

• Голоса персонажей

• Аудиодрамы

• Вокал для музыки

Базовое использование

Простой TTS

from f5_tts import F5TTS

# Инициализация
tts = F5TTS(device="cuda")

# Сгенерировать речь
audio = tts.generate(
    text="Привет! Это F5-TTS генерирует естественную речь.",
    output_path="output.wav"
)

Клонирование голоса

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Клонируйте голос по эталонному аудио
audio = tts.generate(
    text="Это мой клонированный голос, произносящий новый текст.",
    ref_audio="reference_voice.wav",
    ref_text="Это эталонный текст, произнесённый в аудио.",
    output_path="cloned_output.wav"
)

Поддержка нескольких языков

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Английский
tts.generate(
    text="Привет, как ты сегодня?",
    ref_audio="english_speaker.wav",
    output_path="english.wav"
)

# Китайский
tts.generate(
    text="你好，今天怎么样？",
    ref_audio="chinese_speaker.wav",
    output_path="chinese.wav"
)

# Французский
tts.generate(
    text="Bonjour, comment allez-vous?",
    ref_audio="french_speaker.wav",
    output_path="french.wav"
)

Пакетная обработка

from f5_tts import F5TTS
import os

tts = F5TTS(device="cuda")

texts = [
    "Добро пожаловать на нашу демонстрацию продукта.",
    "Сегодня мы покажем вам ключевые функции.",
    "Давайте начнём с главной панели.",
    "Как видите, интерфейс интуитивно понятен.",
    "Спасибо за просмотр!"
]

ref_audio = "narrator_voice.wav"
ref_text = "Пример текста из эталонного аудио."
output_dir = "./narration"
os.makedirs(output_dir, exist_ok=True)

for i, text in enumerate(texts):
    print(f"Генерация {i+1}/{len(texts)}: {text[:50]}...")

    tts.generate(
        text=text,
        ref_audio=ref_audio,
        ref_text=ref_text,
        output_path=f"{output_dir}/segment_{i:03d}.wav"
    )

Длинное аудио

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

long_text = """
Добро пожаловать в это подробное руководство по машинному обучению.
В этой главе мы рассмотрим основы нейронных сетей.
Нейронные сети — это вычислительные системы, вдохновлённые биологическими нейронными сетями.
Они состоят из взаимосвязанных узлов, которые обрабатывают информацию.
Давайте начнём с основных понятий.
"""

# F5-TTS обрабатывает длинный текст, разбивая его на предложения
audio = tts.generate(
    text=long_text,
    ref_audio="narrator.wav",
    output_path="long_narration.wav",
    chunk_size=200  # Символов на фрагмент
)

Интерфейс Gradio

import gradio as gr
from f5_tts import F5TTS
import tempfile

tts = F5TTS(device="cuda")

def generate_speech(text, ref_audio, ref_text):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        tts.generate(
            text=text,
            ref_audio=ref_audio,
            ref_text=ref_text,
            output_path=f.name
        )
        return f.name

demo = gr.Interface(
    fn=generate_speech,
    inputs=[
        gr.Textbox(label="Текст для озвучивания", lines=5),
        gr.Audio(type="filepath", label="Эталонный голос"),
        gr.Textbox(label="Эталонный текст", lines=2)
    ],
    outputs=gr.Audio(label="Сгенерированная речь"),
    title="Клонирование голоса F5-TTS",
    description="Клонируйте любой голос с помощью F5-TTS на серверах CLORE.AI"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

API-сервер

from fastapi import FastAPI, UploadFile, File, Form
from fastapi.responses import FileResponse
from f5_tts import F5TTS
import tempfile

app = FastAPI()
tts = F5TTS(device="cuda")

@app.post("/synthesize")
async def synthesize(
    text: str = Form(...),
    ref_audio: UploadFile = File(...),
    ref_text: str = Form(...)
):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as ref_file:
        ref_file.write(await ref_audio.read())
        ref_path = ref_file.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as out_file:
        tts.generate(
            text=text,
            ref_audio=ref_path,
            ref_text=ref_text,
            output_path=out_file.name
        )
        return FileResponse(out_file.name, media_type="audio/wav")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Производительность

Длина текста	GPU	Время генерации	Коэффициент реального времени
100 символов	RTX 3090	0,5 с	5x
100 символов	RTX 4090	0,3 с	8x
500 символов	RTX 4090	1,2 с	10x
1000 символов	A100	2,0 с	12x

Распространённые проблемы и решения

Плохое совпадение голоса

Проблема: Сгенерированный голос не совпадает с эталоном

Решения:

• Используйте 5–15 секунд чистого эталонного аудио

• Предоставьте точную расшифровку эталонного текста

• Избегайте фонового шума в эталоне

• Сопоставьте язык текста и эталона

Проблемы с произношением

Проблема: Неправильно произносит слова или имена

Решения:

# Используйте фонетические подсказки для сложных слов
text = "Добро пожаловать на платформу CLORE (произносится как KLOR) AI."

# Или используйте форматирование, похожее на SSML
text = "Генеральный директор Джон Смит (SMIHTH) выступит."

Проблемы с качеством аудио

Проблема: Вывод звучит роботизированно или искажённо

Решения:

• Используйте эталонное аудио высокого качества (24 кГц+)

• Очистите эталон от шума

• Попробуйте разные эталонные образцы

• Увеличьте настройки качества генерации

Проблемы с памятью

Проблема: Нехватка памяти для длинных текстов

Решения:

# Обрабатывайте меньшими фрагментами
tts.generate(
    text=long_text,
    chunk_size=100,  # Меньшие фрагменты
    overlap=20  # Плавные переходы
)

Медленная генерация

Проблема: Слишком долго генерируется

Решения:

• Используйте инференс на GPU (CUDA)

• Уменьшите chunk_size для более быстрой обработки

• Используйте RTX 4090 или лучше

• Включите полупрецизионный режим (fp16)

Устранение неполадок

Голос не совпадает с эталоном

• Используйте 5–15 секунд чистого эталонного аудио

• Точно расшифруйте эталонный текст

• Избегайте фонового шума в эталоне

Проблемы с качеством аудио

• Используйте эталон с высокой частотой дискретизации (24 кГц+)

• Очистите эталон от шума

• Попробуйте разные эталонные образцы

Медленная генерация

• Используйте CUDA (не CPU)

• Уменьшите длину текста или разбейте его на фрагменты

• Используйте меньшие размеры батча

Несоответствие языка

• Сопоставьте язык текста с языком эталонного аудио

• Некоторым языкам нужны специальные модели

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• XTTS - Альтернативный TTS

• Bark TTS - Выразительный TTS

• SadTalker - Говорящие головы