F5-TTS

Synthèse vocale rapide et fluide avec F5-TTS sur les GPU Clore.ai

Générez une parole naturelle avec F5-TTS - un système TTS rapide et fluide.

Tous les exemples peuvent être exécutés sur des serveurs GPU loués via la place de marché CLORE.AI.

Louer sur CLORE.AI

1. Visitez la place de marché CLORE.AI

2. Filtrez par type de GPU, VRAM et prix

3. Choisissez À la demande (tarif fixe) ou Spot (prix d'enchère)

4. Configurez votre commande :

   • Sélectionnez l'image Docker

   • Définissez les ports (TCP pour SSH, HTTP pour les interfaces web)

   • Ajoutez des variables d'environnement si nécessaire

   • Entrez la commande de démarrage

5. Sélectionnez le paiement : CLORE, BTC, ou USDT/USDC

6. Créez la commande et attendez le déploiement

Accédez à votre serveur

• Trouvez les détails de connexion dans Mes commandes

• Interfaces web : utilisez l'URL du port HTTP

• SSH : ssh -p <port> root@<proxy-address>

Qu'est-ce que F5-TTS ?

F5-TTS propose :

• Inférence rapide (plus rapide que le temps réel)

• Prosodie et intonation naturelles

• Clonage vocal zéro-shot

• Prise en charge multilingue

Ressources

• GitHub : SWivid/F5-TTS

• HuggingFace : SWivid/F5-TTS

• Article : Article F5-TTS

• Démo : HuggingFace Space

Matériel recommandé

Composant	Minimum	Recommandé	Optimal
GPU	RTX 3060 12 Go	RTX 4080 16 Go	RTX 4090 24 Go
VRAM	6 Go	12 Go	16 Go
CPU	4 cœurs	8 cœurs	16 cœurs
RAM	16 Go	32 Go	64 Go
Stockage	SSD 20 Go	50 Go NVMe	100 Go NVMe
Internet	100 Mbps	500 Mbps	1 Gbps

Déploiement rapide sur CLORE.AI

Image Docker :

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

Ports :

22/tcp
7860/http

Commande :

pip install f5-tts && \
f5-tts-webui

Accéder à votre service

Après le déploiement, trouvez votre http_pub URL dans Mes commandes:

1. Accédez à Mes commandes la page

2. Cliquez sur votre commande

3. Trouvez le http_pub URL (par ex., abc123.clorecloud.net)

Utilisez https://YOUR_HTTP_PUB_URL au lieu de localhost dans les exemples ci-dessous.

Installation

pip install f5-tts

# Ou depuis les sources
git clone https://github.com/SWivid/F5-TTS.git
cd F5-TTS
pip install -e .

Ce que vous pouvez créer

Contenu vocal

• Production de podcasts

• Narration de livres audio

• Voix off pour vidéos

Accessibilité

• Lecteurs d'écran

• Lecteurs de documents

• Matériel d'apprentissage

Applications interactives

• Assistants vocaux

• PNJ de jeu

• Bots de service client

Projets créatifs

• Voix de personnages

• Fictions audio

• Voix chantée

Utilisation de base

TTS simple

from f5_tts import F5TTS

# Initialisation
tts = F5TTS(device="cuda")

# Générer la parole
audio = tts.generate(
    text="Bonjour ! Voici F5-TTS qui génère un discours naturel.",
    output_path="output.wav"
)

Clonage vocal

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Cloner la voix à partir d'un audio de référence
audio = tts.generate(
    text="Voici ma voix clonée qui prononce un nouveau texte.",
    ref_audio="reference_voice.wav",
    ref_text="Voici le texte de référence prononcé dans l'audio.",
    output_path="cloned_output.wav"
)

Prise en charge multilingue

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# Anglais
tts.generate(
    text="Bonjour, comment allez-vous aujourd'hui ?",
    ref_audio="english_speaker.wav",
    output_path="english.wav"
)

# Chinois
tts.generate(
    text="你好，今天怎么样？",
    ref_audio="chinese_speaker.wav",
    output_path="chinese.wav"
)

# Français
tts.generate(
    text="Bonjour, comment allez-vous ?",
    ref_audio="french_speaker.wav",
    output_path="french.wav"
)

Traitement par lots

from f5_tts import F5TTS
import os

tts = F5TTS(device="cuda")

texts = [
    "Bienvenue dans cette démonstration de notre produit.",
    "Aujourd'hui, nous allons vous présenter les fonctionnalités clés.",
    "Commençons par le tableau de bord principal.",
    "Comme vous pouvez le voir, l'interface est intuitive.",
    "Merci d'avoir regardé !"
]

ref_audio = "narrator_voice.wav"
ref_text = "Texte d'exemple provenant de l'audio de référence."
output_dir = "./narration"
os.makedirs(output_dir, exist_ok=True)

for i, text in enumerate(texts):
    print(f"Génération {i+1}/{len(texts)} : {text[:50]}...")

    tts.generate(
        text=text,
        ref_audio=ref_audio,
        ref_text=ref_text,
        output_path=f"{output_dir}/segment_{i:03d}.wav"
    )

Audio longue durée

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

long_text = """
Bienvenue dans ce guide complet sur l'apprentissage automatique.
Dans ce chapitre, nous allons explorer les fondements des réseaux neuronaux.
Les réseaux neuronaux sont des systèmes informatiques inspirés des réseaux neuronaux biologiques.
Ils sont constitués de nœuds interconnectés qui traitent l'information.
Commençons par les concepts de base.
"""

# F5-TTS gère les longs textes en les découpant en phrases
audio = tts.generate(
    text=long_text,
    ref_audio="narrator.wav",
    output_path="long_narration.wav",
    chunk_size=200  # Caractères par segment
)

Interface Gradio

import gradio as gr
from f5_tts import F5TTS
import tempfile

tts = F5TTS(device="cuda")

def generate_speech(text, ref_audio, ref_text):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        tts.generate(
            text=text,
            ref_audio=ref_audio,
            ref_text=ref_text,
            output_path=f.name
        )
        return f.name

demo = gr.Interface(
    fn=generate_speech,
    inputs=[
        gr.Textbox(label="Texte à prononcer", lines=5),
        gr.Audio(type="filepath", label="Voix de référence"),
        gr.Textbox(label="Texte de référence", lines=2)
    ],
    outputs=gr.Audio(label="Discours généré"),
    title="Clonage vocal F5-TTS",
    description="Clonez n'importe quelle voix avec F5-TTS sur les serveurs CLORE.AI"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Serveur API

from fastapi import FastAPI, UploadFile, File, Form
from fastapi.responses import FileResponse
from f5_tts import F5TTS
import tempfile

app = FastAPI()
tts = F5TTS(device="cuda")

@app.post("/synthesize")
async def synthesize(
    text: str = Form(...),
    ref_audio: UploadFile = File(...),
    ref_text: str = Form(...)
):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as ref_file:
        ref_file.write(await ref_audio.read())
        ref_path = ref_file.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as out_file:
        tts.generate(
            text=text,
            ref_audio=ref_path,
            ref_text=ref_text,
            output_path=out_file.name
        )
        return FileResponse(out_file.name, media_type="audio/wav")

# Exécuter : uvicorn server:app --host 0.0.0.0 --port 8000

Performances

Longueur du texte	GPU	Temps de génération	Facteur temps réel
100 caractères	RTX 3090	0.5s	5x
100 caractères	RTX 4090	0.3s	8x
500 caractères	RTX 4090	1.2s	10x
1000 caractères	A100	2,0 s	12x

Problèmes courants et solutions

Mauvaise correspondance de la voix

Problème : La voix générée ne correspond pas à la référence

Solutions :

• Utilisez 5 à 15 secondes d'audio de référence clair

• Fournissez une transcription exacte du texte de référence

• Évitez les bruits de fond dans la référence

• Faites correspondre la langue du texte et de la référence

Problèmes de prononciation

Problème : Prononce mal les mots ou les noms

Solutions :

# Utilisez des indices phonétiques pour les mots difficiles
text = "Bienvenue sur la plateforme CLORE (prononcé KLOR) AI."

# Ou utilisez un formatage de type SSML
text = "Le PDG, John Smith (SMIHTH), prendra la parole."

Problèmes de qualité audio

Problème : La sortie sonne de façon robotique ou déformée

Solutions :

• Utilisez un audio de référence de haute qualité (24 kHz+)

• Nettoyez le bruit de la référence

• Essayez différents échantillons de référence

• Augmentez les paramètres de qualité de génération

Problèmes de mémoire

Problème : Mémoire insuffisante pour les longs textes

Solutions :

# Traiter en segments plus petits
tts.generate(
    text=long_text,
    chunk_size=100,  # Segments plus petits
    overlap=20  # Transitions fluides
)

Génération lente

Problème : La génération prend trop de temps

Solutions :

• Utilisez l'inférence GPU (CUDA)

• Réduisez chunk_size pour un traitement plus rapide

• Utilisez une RTX 4090 ou mieux

• Activez la demi-précision (fp16)

Dépannage

La voix ne correspond pas à la référence

• Utilisez 5 à 15 secondes d'audio de référence clair

• Transcrivez le texte de référence avec précision

• Évitez les bruits de fond dans la référence

Problèmes de qualité audio

• Utilisez une référence à fréquence d'échantillonnage élevée (24 kHz+)

• Nettoyez le bruit de la référence

• Essayez différents échantillons de référence

Génération lente

• Utilisez CUDA (pas le CPU)

• Réduisez la longueur du texte ou découpez-le en segments

• Utilisez des tailles de lot plus petites

Incompatibilité de langue

• Faites correspondre la langue du texte avec celle de l'audio de référence

• Certaines langues nécessitent des modèles spécifiques

Estimation des coûts

Tarifs typiques du marché CLORE.AI (en 2024) :

GPU	Tarif horaire	Tarif journalier	Session de 4 heures
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 Go	~$0.17	~$4.00	~$0.70
A100 80 Go	~$0.25	~$6.00	~$1.00

Les prix varient selon le fournisseur et la demande. Vérifiez la place de marché CLORE.AI les tarifs actuels.

Économisez de l'argent :

• Utilisez le Spot marché pour les travaux interrompables — environ un tiers des serveurs ont un prix spot inférieur au tarif à la demande (médiane ~13 % de remise), les autres s'alignent dessus

• Payez avec CLORE jetons

• Comparez les prix entre différents fournisseurs

Étapes suivantes

• XTTS - TTS alternatif

• Bark TTS - TTS expressif

• SadTalker - Avatars parlants