Clonación de voz Qwen3-TTS

Clonación de voz multilingüe y TTS con Qwen3-TTS: más de 10 idiomas, transmisión y control de emoción

Qwen3-TTS de Alibaba es un modelo de texto a voz de última generación que admite más de 10 idiomas con clonación de voz a partir de solo 3 segundos de audio. Presenta control de emoción en lenguaje natural ("hablar felizmente", "susurrar suavemente"), transmisión con 97 ms de latencia y dos tamaños de modelo (0.6B y 1.7B). Lanzado bajo Apache 2.0, es uno de los sistemas TTS de código abierto más capaces disponibles.

Características clave

• más de 10 idiomas: inglés, chino, japonés, coreano, francés, alemán, español y más

• Clonación de voz en 3 segundos: Clona cualquier voz a partir de una muestra de audio corta

• Control de emoción natural: Controla el estilo con instrucciones en texto plano

• Soporte de transmisión: 97 ms de latencia para el primer token — ideal para aplicaciones en tiempo real

• Dos tamaños: 0.6B (4GB VRAM) y 1.7B (8GB VRAM)

• Ajustable (fine-tunable): Modelos base disponibles para entrenamiento personalizado

• Licencia Apache 2.0: Uso comercial completo

Variantes de modelo

Modelo	Parámetros	VRAM	Calidad	Velocidad	Mejor para
Qwen3-TTS-0.6B-Instruct	0.6B	4GB	Bueno	Rápido	Tiempo real, GPUs económicas
Qwen3-TTS-1.7B-Instruct	1.7B	8GB	Mejor	Medio	Calidad de producción
Qwen3-TTS-0.6B-Base	0.6B	4GB	—	—	Ajuste fino
Qwen3-TTS-1.7B-Base	1.7B	8GB	—	—	Ajuste fino

Requisitos

Componente	0.6B	1.7B
GPU	RTX 3060 6GB	RTX 3080 10GB
VRAM	4GB	8GB
RAM	8GB	16GB
Disco	5GB	10GB
Python	3.10+	3.10+

GPU recomendada de Clore.ai: RTX 3060 ($0.15–0.3/día) para 0.6B, RTX 3080 ($0.2–0.5/día) para 1.7B

Instalación

pip install transformers torch torchaudio soundfile

Inicio rápido — Clonación de voz

import torch
import torchaudio
from transformers import AutoModelForCausalLM, AutoProcessor

model_name = "Qwen/Qwen3-TTS-12Hz-1.7B-Instruct"
processor = AutoProcessor.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Cargar voz de referencia (3+ segundos de cualquier voz)
reference_audio, sr = torchaudio.load("reference_voice.wav")

# Generar habla clonando esa voz
text = "Welcome to Clore.ai, the decentralized GPU rental marketplace."
inputs = processor(
    text=text,
    audio=reference_audio,
    sampling_rate=sr,
    return_tensors="pt"
).to("cuda")

with torch.no_grad():
    output = model.generate(**inputs, max_new_tokens=2048)

# Decodificar y guardar
audio = processor.decode(output[0])
torchaudio.save("output.wav", audio.unsqueeze(0), 24000)

Control de emoción

# Controlar la emoción con instrucciones en lenguaje natural
prompts = [
    ("Habla feliz y enérgicamente", "¡Grandes noticias! Acabamos de lanzar la nueva función!"),
    ("Susurra suavemente y con ternura", "Déjame contarte un secreto sobre los precios de las GPU..."),
    ("Habla profesionalmente y con claridad", "Los resultados trimestrales muestran un aumento del 40% en los ingresos."),
    ("Habla con emoción", "¡No creerás los resultados del benchmark!"),
]

para estilo, texto en prompts:
    inputs = processor(
        text=text,
        style_prompt=style,
        audio=reference_audio,
        sampling_rate=sr,
        return_tensors="pt"
    ).to("cuda")
    
    output = model.generate(**inputs, max_new_tokens=2048)
    audio = processor.decode(output[0])
    torchaudio.save(f"output_{style[:10]}.wav", audio.unsqueeze(0), 24000)

Generación multilingüe

# Generar en diferentes idiomas (¡la misma voz!)
texts = {
    "en": "Hello, welcome to the GPU marketplace.",
    "zh": "你好，欢迎来到GPU市场。",
    "ja": "こんにちは、GPUマーケットプレイスへようこそ。",
    "ko": "안녕하세요, GPU 마켓플레이스에 오신 것을 환영합니다。",
    "fr": "Bonjour, bienvenue sur le marché GPU.",
    "de": "Hallo, willkommen auf dem GPU-Marktplatz.",
}

for lang, text in texts.items():
    inputs = processor(
        text=text, audio=reference_audio, sampling_rate=sr,
        language=lang, return_tensors="pt"
    ).to("cuda")
    output = model.generate(**inputs, max_new_tokens=2048)
    audio = processor.decode(output[0])
    torchaudio.save(f"output_{lang}.wav", audio.unsqueeze(0), 24000)

Comparación con otros modelos TTS

Función	Qwen3-TTS	Zonos	Día	Kokoro	XTTS
Idiomas	10+	1 (EN)	1 (EN)	1 (EN)	17
Clon de voz	3 seg	2-30 seg	No	No	6 seg
Streaming	✅ (97 ms)	❌	❌	❌	✅
Control de emoción	✅ Natural	❌	✅ Automático	❌	❌
Multi-orador	❌	❌	✅	❌	❌
VRAM mínima	4GB	8GB	8GB	2GB	6GB
Licencia	Apache 2.0	Apache 2.0	Apache 2.0	Apache 2.0	AGPL

Consejos para usuarios de Clore.ai

• 0.6B en RTX 3060: Mejor opción económica a $0.15/día — suficiente para la mayoría de tareas TTS

• Procesamiento por lotes: Genera todos los clips de audio en una sesión para maximizar el tiempo de alquiler

• Almacenar en caché el audio de referencia: Mantén tus referencias de voz en almacenamiento persistente

• Transmisión para tiempo real: Usa la API de streaming para aplicaciones de chatbot/asistente

• Ajusta para voces personalizadas: Alquila una RTX 4090 por unas horas para ajustar el modelo base con tus datos de voz

Solución de problemas

Problema	Solución
Memoria insuficiente en 1.7B	Cambia a 0.6B o usa torch_dtype=torch.float16
La clonación de voz suena mal	Usa 5-10 segundos de audio limpio (sin ruido de fondo)
Salida en idioma incorrecto	Pasa explícitamente idioma parámetro
Primera generación lenta	Normal — el modelo se carga en la primera llamada. Las llamadas subsiguientes son rápidas

Lecturas adicionales

• Modelos de HuggingFace

• Documentación de Qwen3-TTS

• Guía de clonación de voz