Clonage vocal Qwen3-TTS

Clonage vocal multilingue et synthèse vocale avec Qwen3-TTS — plus de 10 langues, streaming, contrôle des émotions

Qwen3-TTS d'Alibaba est un modèle de synthèse vocale de pointe prenant en charge plus de 10 langues avec clonage vocal à partir de seulement 3 secondes d'audio. Il offre un contrôle des émotions en langage naturel ("parler joyeusement", "murmurer doucement"), le streaming avec une latence de 97 ms, et deux tailles de modèle (0,6B et 1,7B). Publié sous licence Apache 2.0, c'est l'un des systèmes TTS open source les plus performants disponibles.

Caractéristiques clés

• plus de 10 langues: anglais, chinois, japonais, coréen, français, allemand, espagnol, et plus encore

• clonage vocal en 3 secondes: Clonez n'importe quelle voix à partir d'un court échantillon audio

• Contrôle naturel des émotions: Contrôlez le style à l'aide d'instructions en texte simple

• Prise en charge du streaming: latence au premier jeton de 97 ms — idéal pour les applications en temps réel

• Deux tailles: 0.6B (4 Go de VRAM) et 1.7B (8 Go de VRAM)

• Ajustable: modèles de base disponibles pour un entraînement personnalisé

• licence Apache 2.0: Utilisation commerciale complète

Variantes de modèle

Modèle	Paramètres	VRAM	Qualité	Vitesse	Idéal pour
Qwen3-TTS-0.6B-Instruct	0.6B	4 Go	Bon	Rapide	GPU économiques en temps réel
Qwen3-TTS-1.7B-Instruct	1.7B	8 Go	Meilleur	Moyen	Qualité de production
Qwen3-TTS-0.6B-Base	0.6B	4 Go	—	—	Affinage
Qwen3-TTS-1.7B-Base	1.7B	8 Go	—	—	Affinage

Exigences

Composant	0.6B	1.7B
GPU	RTX 3060 6 Go	RTX 3080 10 Go
VRAM	4 Go	8 Go
RAM	8 Go	16 Go
Disque	5 Go	10GB
Python	3.10+	3.10+

GPU Clore.ai recommandé: RTX 3060 (0,03–0,07 $/h) pour 0.6B, RTX 3080 (0,05–0,19 $/h) pour 1.7B

Installation

pip install transformers torch torchaudio soundfile

Démarrage rapide — Clonage vocal

import torch
import torchaudio
from transformers import AutoModelForCausalLM, AutoProcessor

model_name = "Qwen/Qwen3-TTS-12Hz-1.7B-Instruct"
processor = AutoProcessor.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Charger la voix de référence (3+ secondes de n'importe quelle voix)
reference_audio, sr = torchaudio.load("reference_voice.wav")

# Générer une parole clonant cette voix
text = "Bienvenue sur Clore.ai, la place de marché décentralisée de location de GPU."
inputs = processor(
    text=text,
    audio=reference_audio,
    sampling_rate=sr,
    return_tensors="pt"
).to("cuda")

with torch.no_grad():
    output = model.generate(**inputs, max_new_tokens=2048)

# Décoder et enregistrer
audio = processor.decode(output[0])
torchaudio.save("output.wav", audio.unsqueeze(0), 24000)

Contrôle des émotions

# Contrôlez l'émotion avec des instructions en langage naturel
prompts = [
    ("Parlez joyeusement et avec énergie", "Excellente nouvelle ! Nous venons de lancer la nouvelle fonctionnalité !"),
    ("Murmurez doucement et délicatement", "Laissez-moi vous confier un secret sur les prix des GPU..."),
    ("Parlez de manière professionnelle et claire", "Les résultats trimestriels montrent une augmentation du chiffre d'affaires de 40 %."),
    ("Parlez avec enthousiasme", "Vous n'allez pas croire les résultats du benchmark !"),
]

for style, text in prompts:
    inputs = processor(
        text=text,
        style_prompt=style,
        audio=reference_audio,
        sampling_rate=sr,
        return_tensors="pt"
    ).to("cuda")
    
    output = model.generate(**inputs, max_new_tokens=2048)
    audio = processor.decode(output[0])
    torchaudio.save(f"output_{style[:10]}.wav", audio.unsqueeze(0), 24000)

Génération multilingue

# Générez dans différentes langues (la même voix !)
texts = {
    "en": "Bonjour, bienvenue sur la place de marché des GPU.",
    "zh": "你好，欢迎来到GPU市场。",
    "ja": "こんにちは、GPUマーケットプレイスへようこそ。",
    "ko": "안녕하세요, GPU 마켓플레이스에 오신 것을 환영합니다.",
    "fr": "Bonjour, bienvenue sur le marché GPU.",
    "de": "Hallo, willkommen auf dem GPU-Marktplatz.",
}

for lang, text in texts.items():
    inputs = processor(
        text=text, audio=reference_audio, sampling_rate=sr,
        language=lang, return_tensors="pt"
    ).to("cuda")
    output = model.generate(**inputs, max_new_tokens=2048)
    audio = processor.decode(output[0])
    torchaudio.save(f"output_{lang}.wav", audio.unsqueeze(0), 24000)

Comparaison avec d'autres modèles TTS

Fonctionnalité	Qwen3-TTS	Zonos	Dia	Kokoro	XTTS
Langues	10+	1 (EN)	1 (EN)	1 (EN)	17
Clonage vocal	3 s	2 à 30 s	Non	Non	6 s
Flux continu	✅ (97 ms)	❌	❌	❌	✅
Contrôle des émotions	✅ Naturel	❌	✅ Automatique	❌	❌
Multi-locuteur	❌	❌	✅	❌	❌
VRAM minimale	4 Go	8 Go	8 Go	2GB	6 Go
Licence	Apache 2.0	Apache 2.0	Apache 2.0	Apache 2.0	AGPL

Conseils pour les utilisateurs de Clore.ai

• 0.6B sur RTX 3060: Meilleure option économique à 0,03–0,07 $/h — suffisante pour la plupart des tâches TTS

• Traitement par lots: Générez tous les clips audio en une seule session afin de maximiser le temps de location

• Mise en cache de l'audio de référence: Conservez vos références vocales sur un stockage persistant

• Streaming en temps réel: Utilisez l'API de streaming pour les applications de chatbot/d'assistant

• Ajuster finement pour des voix personnalisées: Louez un RTX 4090 pendant quelques heures pour ajuster finement le modèle de base sur vos données vocales

Dépannage

Problème	Solution
Mémoire insuffisante sur 1.7B	Passez à 0.6B ou utilisez torch_dtype=torch.float16
Le clonage vocal sonne mal	Utilisez 5 à 10 secondes d'audio propre (sans bruit de fond)
Sortie dans la mauvaise langue	Passez explicitement language parameter
Première génération lente	Normal — le modèle se charge au premier appel. Les appels suivants sont rapides

Pour aller plus loin

• Modèles HuggingFace

• Documentation Qwen3-TTS

• Guide de clonage vocal