Voxtral TTS

El modelo de texto a voz de código abierto de Mistral: 4 mil millones de parámetros, 9 idiomas, clonación de voz zero-shot, solo 3 GB de VRAM.

Especificaciones	Valor
Desarrollador	Mistral AI
Parámetros	4 mil millones
Arquitectura	TTS de solo decodificador
Idiomas	9 (inglés, francés, alemán, español, hindi, árabe, portugués, italiano, japonés)
Licencia	Apache 2.0 (pesos abiertos)
VRAM	~3 GB (FP16)
Latencia	70 ms para una salida de 10 segundos
Clonación de voz	Zero-shot a partir de una referencia de 3 segundos
Lanzamiento	26 de marzo de 2026

¿Por qué Voxtral TTS?

Voxtral TTS es la respuesta de código abierto de Mistral a ElevenLabs y OpenAI TTS. Ventajas clave para los usuarios de Clore.ai:

• Funciona en cualquier GPU — solo 3 GB de VRAM significa que incluso una RTX 3060 funciona perfectamente

• Sin tarifas de API — autohospedado = síntesis ilimitada con coste marginal cero

• Privacidad de datos — el audio nunca sale de tu máquina

• Clonación zero-shot — clona cualquier voz a partir de 3 segundos de audio de referencia

• 9 idiomas de forma nativa — incluidos hindi y árabe, que a menudo faltan en la competencia

• Velocidad en tiempo real — RTF 0.1–0.2× en RTX 4070+ (clip de 10 segundos en 1–2 segundos)

Requisitos de GPU en Clore.ai

GPU	VRAM	Rendimiento	Precio de Clore.ai
RTX 3060 12GB	12 GB	✅ Bueno — 3–4× en tiempo real	desde $0.03–0.07/h
RTX 3090 24GB	24 GB	✅ Excelente — procesamiento por lotes	desde $0.07–0.21/h
RTX 4070 12 GB	12 GB	✅ Excelente — 5–10× en tiempo real	desde $0.04–0.20/h
RTX 4090 24GB	24 GB	✅ Excesivo — latencia subsegundo	desde $0.14–0.42/h

Recomendación: Una RTX 3060 de 12 GB ($0.03–0.07/h en Clore.ai) es el punto óptimo para la mayoría de los casos de uso. Voxtral solo necesita 3 GB de VRAM, así que puedes ejecutarlo junto con otros modelos.

Inicio rápido en Clore.ai

Paso 1: Alquila un servidor GPU

1. Ve a Marketplace de Clore.ai

2. Filtra cualquier GPU con 8+ GB de VRAM

3. Selecciona un Docker despliegue

4. Usa la imagen: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Paso 2: Instala las dependencias

# Conéctate mediante SSH o terminal Jupyter
pip install torch torchaudio transformers accelerate

# Instala el paquete Voxtral TTS
pip install voxtral-tts

# O usa HuggingFace directamente
pip install huggingface_hub
huggingface-cli download mistralai/Voxtral-TTS --local-dir ./voxtral-tts

Paso 3: Texto a voz básico

from voxtral import VoxtralTTS

# Inicializa el modelo (descarga automática de pesos de ~6 GB)
model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS")
model.to("cuda")

# Síntesis básica
audio = model.synthesize(
    text="Bienvenido a Clore.ai — el mercado descentralizado de GPU.",
    language="en"
)
audio.save("output.wav")
print(f"Generados {audio.duration:.1f}s de audio")

Paso 4: Clonación de voz zero-shot

# Clona una voz a partir de una referencia de 3 segundos
audio = model.synthesize(
    text="Esta es mi voz clonada hablando sobre computación con GPU.",
    reference_audio="reference_speaker.wav",  # 3+ segundos
    language="en"
)
audio.save("cloned_output.wav")

Paso 5: Síntesis multilingüe

# Sintetiza en 9 idiomas compatibles
languages = {
    "en": "Hola, Voxtral hablando en inglés.",
    "fr": "Bonjour, c'est Voxtral qui parle en français.",
    "de": "Hallo, hier spricht Voxtral auf Deutsch.",
    "es": "Hola, Voxtral hablando en español.",
    "hi": "नमस्ते, यह Voxtral हिंदी में बोल रहा है।",
    "ar": "مرحبا، هذا Voxtral يتحدث بالعربية.",
    "pt": "Olá, aqui é o Voxtral falando em português.",
    "it": "Ciao, qui parla Voxtral in italiano.",
    "ja": "こんにちは、Voxtralが日本語で話しています。",
}

for lang, text in languages.items():
    audio = model.synthesize(text=text, language=lang)
    audio.save(f"voxtral_{lang}.wav")
    print(f"[{lang}] Generados {audio.duration:.1f}s")

Servidor API de producción

Despliega Voxtral como una API REST para integrarlo en tus aplicaciones:

# server.py — envoltorio FastAPI para Voxtral TTS
from fastapi import FastAPI, UploadFile, File
from fastapi.responses import StreamingResponse
from voxtral import VoxtralTTS
import io
import soundfile as sf

app = FastAPI(title="Voxtral TTS API")
model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")

@app.post("/synthesize")
async def synthesize(
    text: str,
    language: str = "en",
    reference: UploadFile = File(None)
):
    kwargs = {"text": text, "language": language}
    if reference:
        ref_bytes = await reference.read()
        kwargs["reference_audio"] = ref_bytes
    
    audio = model.synthesize(**kwargs)
    
    # Devuelve como flujo WAV
    buffer = io.BytesIO()
    sf.write(buffer, audio.numpy(), samplerate=24000, format="WAV")
    buffer.seek(0)
    
    return StreamingResponse(buffer, media_type="audio/wav")

@app.get("/health")
async def health():
    return {"status": "ok", "model": "voxtral-tts", "languages": 9}

# Ejecuta el servidor de API
pip install fastapi uvicorn python-multipart soundfile
uvicorn server:app --host 0.0.0.0 --port 8000

# Pruébalo
curl -X POST "http://localhost:8000/synthesize?text=Hola%20mundo&language=en" \
  --output hello.wav

Despliegue con Docker

FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

WORKDIR /app
RUN pip install voxtral-tts fastapi uvicorn python-multipart soundfile

# Descarga previamente los pesos del modelo
RUN python -c "from voxtral import VoxtralTTS; VoxtralTTS.from_pretrained('mistralai/Voxtral-TTS')"

COPY server.py .
EXPOSE 8000
CMD ["uvicorn", "server:app", "--host", "0.0.0.0", "--port", "8000"]

# Construye y ejecuta
docker build -t voxtral-tts-api .
docker run --gpus all -p 8000:8000 voxtral-tts-api

Voxtral frente a otros modelos TTS

Función	Voxtral TTS	ElevenLabs	Qwen3-TTS	Kokoro TTS	Fish Speech
Pesos abiertos	✅ Apache 2.0	❌ Solo API	✅	✅	✅
VRAM	3 GB	N/D (nube)	8 GB	2 GB	4 GB
Idiomas	9	30+	50+	5	8
Clonación de voz	ref. 3 s	ref. 1 s	ref. 5 s	❌	ref. 10 s
Latencia	70 ms	~200 ms	~150 ms	50 ms	100 ms
Calidad	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐
Autohospedado	✅	❌	✅	✅	✅

Procesamiento por lotes para proyectos grandes

import concurrent.futures
from voxtral import VoxtralTTS

model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")

# Procesa un capítulo completo de audiolibro
paragraphs = [
    "Capítulo 1: El comienzo...",
    "Era una noche oscura y tormentosa...",
    "El protagonista dio un paso al frente...",
    # ... cientos de párrafos
]

def process_paragraph(idx_text):
    idx, text = idx_text
    audio = model.synthesize(text=text, language="en")
    audio.save(f"chapter1_part{idx:04d}.wav")
    return idx

# Procesamiento secuencial (limitado por la GPU)
for i, text in enumerate(paragraphs):
    process_paragraph((i, text))
    
print(f"Procesados {len(paragraphs)} párrafos")

Modo de streaming para aplicaciones en tiempo real

# Síntesis en streaming para aplicaciones en vivo
async def stream_synthesis(text: str, language: str = "en"):
    """Genera audio en fragmentos de streaming para reproducción de baja latencia."""
    model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")
    
    async for chunk in model.synthesize_stream(
        text=text,
        language=language,
        chunk_size=4096  # ~170 ms por fragmento a 24 kHz
    ):
        yield chunk.numpy().tobytes()

Solución de problemas

Problema	Solución
Falta de memoria en GPU pequeña	Usa model.half() para FP16 (reduce a la mitad la VRAM a ~1.5 GB)
Primera inferencia lenta	Normal — el modelo compila kernels CUDA en la primera ejecución (~30 s)
Calidad deficiente para el idioma X	Asegúrate de usar el parámetro correcto idioma parámetro; algunos idiomas necesitan audio de referencia más largo
Artefactos de audio	Aumenta reference_audio la longitud a 5–10 s para mejorar la clonación de voz
La descarga del modelo falla	Establece HF_TOKEN variable de entorno para el acceso al modelo restringido

Análisis de costos: Voxtral en Clore.ai frente a TTS en la nube

Servicio	1 millón de caracteres/mes	Notas
ElevenLabs Pro	$99/mes	500 mil caracteres incluidos, cargos por excedente
OpenAI TTS	$15/mes	$15 por 1 millón de caracteres
Google Cloud TTS	$16/mes	Voces estándar
Voxtral en Clore.ai	$3–15/mes	RTX 3060 a $0.03–0.07/h, caracteres ilimitados

Conclusión: Autohospedar Voxtral en Clore.ai es de 6 a 30 veces más barato que las API de TTS en la nube, con límites de caracteres cero y privacidad total de los datos.

Lecturas adicionales

• Voxtral TTS en HuggingFace

• Blog de Mistral AI — Anuncio de Voxtral

• Compara modelos TTS en Clore.ai

• Otras guías de audio y voz

---

Última actualización: 30 de marzo de 2026