F5-TTS

Быстрый и плавный синтез речи с F5-TTS на GPU Clore.ai

Генерируйте естественную речь с F5-TTS — быстрым и плавным TTS-системой.

Все примеры можно запускать на GPU-серверах, арендуемых через CLORE.AI Marketplace.

Аренда на CLORE.AI

Посетите CLORE.AI Marketplace
Отфильтруйте по типу GPU, объему VRAM и цене
Выберите On-Demand (фиксированная ставка) или Spot (цена по ставке)
Настройте ваш заказ:
- Выберите Docker-образ
- Установите порты (TCP для SSH, HTTP для веб-интерфейсов)
- Добавьте переменные окружения при необходимости
- Введите команду запуска
Выберите способ оплаты: CLORE, BTC, или USDT/USDC
Создайте заказ и дождитесь развертывания

Доступ к вашему серверу

Найдите данные для подключения в Моих заказах
Веб-интерфейсы: используйте URL HTTP-порта
SSH: ssh -p <port> root@<proxy-address>

Что такое F5-TTS?

F5-TTS предлагает:

Быструю генерацию (быстрее реального времени)
Естественную просодию и интонацию
Клонирование голоса в режиме zero-shot
Поддержку нескольких языков

Ресурсы

GitHub: SWivid/F5-TTS
HuggingFace: SWivid/F5-TTS
Статья: Статья F5-TTS
Демо: HuggingFace Space

Быстрое развертывание на CLORE.AI

Docker-образ:

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

Порты:

22/tcp
7860/http

Команда:

pip install f5-tts && \
f5-tts-webui

Доступ к вашему сервису

После развертывания найдите ваш http_pub URL в Моих заказах:

Перейдите на Моих заказах страницу
Нажмите на ваш заказ
Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

pip install f5-tts

# Или из исходников
git clone https://github.com/SWivid/F5-TTS.git
cd F5-TTS
pip install -e .

Что вы можете создать

Содержимое голоса

Производство подкастов
Чтение аудиокниг
Озвучивание видео

Доступность

Программы чтения с экрана
Читалки документов
Учебные материалы

Интерактивные приложения

Голосовые ассистенты
NPC в играх
Боты для обслуживания клиентов

Творческие проекты

Голоса персонажей
Аудиодрамы
Вокал для музыки

Базовое использование

Простой TTS

from f5_tts import F5TTS

# Инициализация
tts = F5TTS(device="cuda")

# Сгенерировать речь
audio = tts.generate(
    text="Hello! This is F5-TTS generating natural speech.",
    output_path="output.wav"
)

Клонирование голоса

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Клонировать голос из образца аудио
audio = tts.generate(
    text="This is my cloned voice speaking new text.",
    ref_audio="reference_voice.wav",
    ref_text="This is the reference text spoken in the audio.",
    output_path="cloned_output.wav"
)

Поддержка нескольких языков

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Английский
tts.generate(
    text="Hello, how are you today?",
    ref_audio="english_speaker.wav",
    output_path="english.wav"
)

# Китайский
tts.generate(
    text="你好，今天怎么样？",
    ref_audio="chinese_speaker.wav",
    output_path="chinese.wav"
)

# Французский
tts.generate(
    text="Bonjour, comment allez-vous?",
    ref_audio="french_speaker.wav",
    output_path="french.wav"
)

Пакетная обработка

from f5_tts import F5TTS
import os

tts = F5TTS(device="cuda")

texts = [
    "Welcome to our product demonstration.",
    "Today we'll show you the key features.",
    "Let's start with the main dashboard.",
    "As you can see, the interface is intuitive.",
    "Thank you for watching!"
]

ref_audio = "narrator_voice.wav"
ref_text = "Sample text from the reference audio."
output_dir = "./narration"
os.makedirs(output_dir, exist_ok=True)

for i, text in enumerate(texts):
    print(f"Generating {i+1}/{len(texts)}: {text[:50]}...")

    tts.generate(
        text=text,
        ref_audio=ref_audio,
        ref_text=ref_text,
        output_path=f"{output_dir}/segment_{i:03d}.wav"
    )

Длительное аудио

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

long_text = """
Добро пожаловать в это подробное руководство по машинному обучению.
В этой главе мы изучим основы нейронных сетей.
Нейронные сети — это вычислительные системы, вдохновлённые биологическими нейронными сетями.
Они состоят из взаимосвязанных узлов, которые обрабатывают информацию.
Давайте начнём с основных понятий.
"""

# F5-TTS обрабатывает длинный текст, разбивая его на предложения
audio = tts.generate(
    text=long_text,
    ref_audio="narrator.wav",
    output_path="long_narration.wav",
    chunk_size=200  # Символов в одном фрагменте
)

Интерфейс Gradio

import gradio as gr
from f5_tts import F5TTS
import tempfile

tts = F5TTS(device="cuda")

def generate_speech(text, ref_audio, ref_text):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        tts.generate(
            text=text,
            ref_audio=ref_audio,
            ref_text=ref_text,
            output_path=f.name
        )
        return f.name

demo = gr.Interface(
    fn=generate_speech,
    inputs=[
        gr.Textbox(label="Text to Speak", lines=5),
        gr.Audio(type="filepath", label="Reference Voice"),
        gr.Textbox(label="Reference Text", lines=2)
    ],
    outputs=gr.Audio(label="Generated Speech"),
    title="F5-TTS Voice Cloning",
    description="Clone any voice with F5-TTS on CLORE.AI servers"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

API-сервер

from fastapi import FastAPI, UploadFile, File, Form
from fastapi.responses import FileResponse
from f5_tts import F5TTS
import tempfile

app = FastAPI()
tts = F5TTS(device="cuda")

@app.post("/synthesize")
async def synthesize(
    text: str = Form(...),
    ref_audio: UploadFile = File(...),
    ref_text: str = Form(...)
):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as ref_file:
        ref_file.write(await ref_audio.read())
        ref_path = ref_file.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as out_file:
        tts.generate(
            text=text,
            ref_audio=ref_path,
            ref_text=ref_text,
            output_path=out_file.name
        )
        return FileResponse(out_file.name, media_type="audio/wav")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Производительность

Длина текста

GPU

Время генерации

Коэффициент реального времени

100 символов

RTX 3090

0.5 с

100 символов

RTX 4090

0.3 с

500 символов

RTX 4090

1.2 с

10x

1000 символов

A100

2.0с

12x

Распространённые проблемы и решения

Плохое соответствие голоса

Проблема: Сгенерированный голос не соответствует образцу

Решения:

Используйте 5–15 секунд чистого образца аудио
Предоставьте точную расшифровку текста образца
Избегайте фонового шума в образце
Совпадение языка текста и образца

Проблемы с произношением

Проблема: Неправильно произносит слова или имена

Решения:


# Используйте фонетические подсказки для трудных слов
text = "Welcome to CLORE (pronounced KLOR) AI platform."

# Или используйте форматирование, похожее на SSML
text = "The CEO, John Smith (SMIHTH), will speak."

Проблемы с качеством аудио

Проблема: Выход звучит роботизированно или искажённо

Решения:

Используйте высококачественный образец аудио (24 кГц+)
Очистите образец от шума
Попробуйте другие образцы
Увеличьте настройки качества генерации

Проблемы с памятью

Проблема: Недостаточно памяти для длинных текстов

Решения:


# Обрабатывайте меньшими фрагментами
tts.generate(
    text=long_text,
    chunk_size=100,  # Меньшие фрагменты
    overlap=20  # Плавные переходы
)

Медленная генерация

Проблема: Генерация занимает слишком много времени

Решения:

Используйте инференс на GPU (CUDA)
Уменьшите chunk_size для более быстрой обработки
Используйте RTX 4090 или лучше
Включите половинную точность (fp16)

Устранение неполадок

Голос не соответствует образцу

Используйте 5–15 секунд чистого образца аудио
Точно расшифруйте текст образца
Избегайте фонового шума в образце

Проблемы с качеством аудио

Используйте образец с высокой частотой дискретизации (24 кГц+)
Очистите образец от шума
Попробуйте другие образцы

Медленная генерация

Используйте CUDA (не CPU)
Уменьшите длину текста или разбейте его на фрагменты
Используйте меньшие размеры батчей

Несоответствие языка

Совпадайте язык текста с языком образца аудио
Некоторым языкам требуются специфические модели

Оценка стоимости

Типичные ставки на маркетплейсе CLORE.AI (по состоянию на 2024):

GPU

Почасовая ставка

Дневная ставка

Сессия 4 часа

RTX 3060

~$0.03

~$0.70

~$0.12

RTX 3090

~$0.06

~$1.50

~$0.25

RTX 4090

~$0.10

~$2.30

~$0.40

A100 40GB

~$0.17

~$4.00

~$0.70

A100 80GB

~$0.25

~$6.00

~$1.00

Цены варьируются в зависимости от провайдера и спроса. Проверьте CLORE.AI Marketplace для текущих тарифов.

Экономьте деньги:

Используйте Spot рынок для гибких рабочих нагрузок (часто на 30–50% дешевле)
Платите с помощью CLORE токенов
Сравнивайте цены у разных провайдеров

Дальнейшие шаги

XTTS - Альтернативный TTS
Bark TTS - Экспрессивный TTS
SadTalker - Говорящие головы

ПредыдущаяXTTS (Coqui)СледующаяКлонирование голоса Zonos TTS

Последнее обновление 1 день назад

Это было полезно?

hashtagАренда на CLORE.AI

hashtagДоступ к вашему серверу

hashtagЧто такое F5-TTS?

hashtagРесурсы

hashtagРекомендованное оборудование

hashtagБыстрое развертывание на CLORE.AI

hashtagДоступ к вашему сервису

hashtagУстановка

hashtagЧто вы можете создать

hashtagСодержимое голоса

hashtagДоступность

hashtagИнтерактивные приложения

hashtagТворческие проекты

hashtagБазовое использование

hashtagПростой TTS

hashtagКлонирование голоса

hashtagПоддержка нескольких языков

hashtagПакетная обработка

hashtagДлительное аудио

hashtagИнтерфейс Gradio

hashtagAPI-сервер

hashtagПроизводительность

hashtagРаспространённые проблемы и решения

hashtagПлохое соответствие голоса

hashtagПроблемы с произношением

hashtagПроблемы с качеством аудио

hashtagПроблемы с памятью

hashtagМедленная генерация

hashtagУстранение неполадок

hashtagГолос не соответствует образцу

hashtagПроблемы с качеством аудио

hashtagМедленная генерация

hashtagНесоответствие языка

hashtagОценка стоимости

hashtagДальнейшие шаги

Аренда на CLORE.AI

Доступ к вашему серверу

Что такое F5-TTS?

Ресурсы

Рекомендованное оборудование

Быстрое развертывание на CLORE.AI

Доступ к вашему сервису

Установка

Что вы можете создать

Содержимое голоса

Доступность

Интерактивные приложения

Творческие проекты

Базовое использование

Простой TTS

Клонирование голоса

Поддержка нескольких языков

Пакетная обработка

Длительное аудио

Интерфейс Gradio

API-сервер

Производительность

Распространённые проблемы и решения

Плохое соответствие голоса

Проблемы с произношением

Проблемы с качеством аудио

Проблемы с памятью

Медленная генерация

Устранение неполадок

Голос не соответствует образцу

Проблемы с качеством аудио

Медленная генерация

Несоответствие языка

Оценка стоимости

Дальнейшие шаги