Voxtral TTS

Открытая модель Mistral для преобразования текста в речь: 4 млрд параметров, 9 языков, клонирование голоса без примеров, всего 3 ГБ VRAM.

Характеристики	Значение
Разработчик	Mistral AI
Параметры	4 миллиарда
Архитектура	TTS только-декодер
Языки	9 (английский, французский, немецкий, испанский, хинди, арабский, португальский, итальянский, японский)
Лицензия	Apache 2.0 (открытые веса)
VRAM	~3 ГБ (FP16)
Задержка	70 мс для 10-секундного вывода
Клонирование голоса	Без примеров, по 3-секундному образцу
Выпуск	26 марта 2026

Почему Voxtral TTS?

Voxtral TTS — это открытое решение Mistral в ответ на ElevenLabs и OpenAI TTS. Ключевые преимущества для пользователей Clore.ai:

• Работает на любом GPU — всего 3 ГБ VRAM, значит даже RTX 3060 работает отлично

• Без платы за API — самостоятельный хостинг = неограниченный синтез без переменных затрат

• Конфиденциальность данных — аудио никогда не покидает ваше устройство

• Клонирование без примеров — клонируйте любой голос по 3 секундам эталонного аудио

• 9 языков нативно — включая хинди и арабский, которых часто нет у конкурентов

• Скорость в реальном времени — RTF 0,1–0,2× на RTX 4070+ (10-секундный фрагмент за 1–2 секунды)

Требования к GPU на Clore.ai

GPU	VRAM	Производительность	Цена Clore.ai
RTX 3060 12GB	12 ГБ	✅ Хорошо — 3–4× быстрее реального времени	от $0,03–0,07/ч
RTX 3090 24GB	24 ГБ	✅ Отлично — пакетная обработка	от $0,07–0,21/ч
RTX 4070 12 ГБ	12 ГБ	✅ Отлично — 5–10× быстрее реального времени	от $0,04–0,20/ч
RTX 4090 24GB	24 ГБ	✅ Избыточно — задержка меньше секунды	от $0,14–0,42/ч

Рекомендация: RTX 3060 12 ГБ ($0,03–0,07/ч на Clore.ai) — оптимальный вариант для большинства сценариев. Voxtral требует всего 3 ГБ VRAM, так что его можно запускать вместе с другими моделями.

Быстрый старт на Clore.ai

Шаг 1: Арендуйте GPU-сервер

1. Перейдите на Маркетплейс Clore.ai

2. Отфильтруйте любой GPU с 8+ ГБ VRAM

3. Выберите Docker развёртывание

4. Используйте образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Шаг 2: Установите зависимости

# Подключитесь через SSH или терминал Jupyter
pip install torch torchaudio transformers accelerate

# Установите пакет Voxtral TTS
pip install voxtral-tts

# Или используйте HuggingFace напрямую
pip install huggingface_hub
huggingface-cli download mistralai/Voxtral-TTS --local-dir ./voxtral-tts

Шаг 3: Базовое преобразование текста в речь

from voxtral import VoxtralTTS

# Инициализация модели (автозагрузка весов ~6 ГБ)
model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS")
model.to("cuda")

# Базовый синтез
audio = model.synthesize(
    text="Добро пожаловать в Clore.ai — децентрализованный рынок GPU.",
    language="en"
)
audio.save("output.wav")
print(f"Сгенерировано {audio.duration:.1f} с аудио")

Шаг 4: Клонирование голоса без примеров

# Клонируйте голос по 3-секундному образцу
audio = model.synthesize(
    text="Это мой клонированный голос, рассказывающий о вычислениях на GPU.",
    reference_audio="reference_speaker.wav",  # 3+ секунды
    language="en"
)
audio.save("cloned_output.wav")

Шаг 5: Многоязычный синтез

# Синтез на 9 поддерживаемых языках
languages = {
    "en": "Привет, это Voxtral говорит по-английски.",
    "fr": "Bonjour, это Voxtral говорит по-французски.",
    "de": "Hallo, hier spricht Voxtral auf Deutsch.",
    "es": "Hola, Voxtral говорит по-испански.",
    "hi": "नमस्ते, यह Voxtral हिंदी में बोल रहा है।",
    "ar": "مرحبا، هذا Voxtral يتحدث بالعربية.",
    "pt": "Olá, aqui é o Voxtral falando em português.",
    "it": "Ciao, qui parla Voxtral in italiano.",
    "ja": "こんにちは、Voxtralが日本語で話しています。",
}

for lang, text in languages.items():
    audio = model.synthesize(text=text, language=lang)
    audio.save(f"voxtral_{lang}.wav")
    print(f"[{lang}] Сгенерировано {audio.duration:.1f} с")

API-сервер для продакшена

Разверните Voxtral как REST API для интеграции в ваши приложения:

# server.py — обёртка FastAPI для Voxtral TTS
from fastapi import FastAPI, UploadFile, File
from fastapi.responses import StreamingResponse
from voxtral import VoxtralTTS
import io
import soundfile as sf

app = FastAPI(title="Voxtral TTS API")
model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")

@app.post("/synthesize")
async def synthesize(
    text: str,
    language: str = "en",
    reference: UploadFile = File(None)
):
    kwargs = {"text": text, "language": language}
    if reference:
        ref_bytes = await reference.read()
        kwargs["reference_audio"] = ref_bytes
    
    audio = model.synthesize(**kwargs)
    
    # Вернуть как поток WAV
    buffer = io.BytesIO()
    sf.write(buffer, audio.numpy(), samplerate=24000, format="WAV")
    buffer.seek(0)
    
    return StreamingResponse(buffer, media_type="audio/wav")

@app.get("/health")
async def health():
    return {"status": "ok", "model": "voxtral-tts", "languages": 9}

# Запустите API-сервер
pip install fastapi uvicorn python-multipart soundfile
uvicorn server:app --host 0.0.0.0 --port 8000

# Проверьте это
curl -X POST "http://localhost:8000/synthesize?text=Hello%20world&language=en" \
  --output hello.wav

Развёртывание в Docker

FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

WORKDIR /app
RUN pip install voxtral-tts fastapi uvicorn python-multipart soundfile

# Предварительно загрузите веса модели
RUN python -c "from voxtral import VoxtralTTS; VoxtralTTS.from_pretrained('mistralai/Voxtral-TTS')"

COPY server.py .
EXPOSE 8000
CMD ["uvicorn", "server:app", "--host", "0.0.0.0", "--port", "8000"]

# Соберите и запустите
docker build -t voxtral-tts-api .
docker run --gpus all -p 8000:8000 voxtral-tts-api

Voxtral против других моделей TTS

Функция	Voxtral TTS	ElevenLabs	Qwen3-TTS	Kokoro TTS	Fish Speech
Открытые веса	✅ Apache 2.0	❌ Только API	✅	✅	✅
VRAM	3 ГБ	Н/Д (облако)	8 ГБ	2 ГБ	4 ГБ
Языки	9	30+	50+	5	8
Клонирование голоса	3 с эталон	1 с эталон	5 с эталон	❌	10 с эталон
Задержка	70 мс	~200 мс	~150 мс	50 мс	100 мс
Качество	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐
Самостоятельный хостинг	✅	❌	✅	✅	✅

Пакетная обработка для крупных проектов

import concurrent.futures
from voxtral import VoxtralTTS

model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")

# Обработать целую главу аудиокниги
paragraphs = [
    "Chapter 1: The Beginning...",
    "It was a dark and stormy night...",
    "The protagonist stepped forward...",
    # ... сотни абзацев
]

def process_paragraph(idx_text):
    idx, text = idx_text
    audio = model.synthesize(text=text, language="en")
    audio.save(f"chapter1_part{idx:04d}.wav")
    return idx

# Последовательная обработка (нагружает GPU)
for i, text in enumerate(paragraphs):
    process_paragraph((i, text))
    
print(f"Обработано {len(paragraphs)} абзацев")

Стриминговый режим для приложений в реальном времени

# Потоковый синтез для приложений в реальном времени
async def stream_synthesis(text: str, language: str = "en"):
    """Генерировать аудио потоковыми фрагментами для воспроизведения с низкой задержкой."""
    model = VoxtralTTS.from_pretrained("mistralai/Voxtral-TTS").to("cuda")
    
    async for chunk in model.synthesize_stream(
        text=text,
        language=language,
        chunk_size=4096  # ~170 мс на фрагмент при 24 кГц
    ):
        yield chunk.numpy().tobytes()

Устранение неполадок

Проблема	Решение
OOM на маленьком GPU	Используйте model.half() для FP16 (уменьшает VRAM примерно до 1,5 ГБ)
Медленный первый инференс	Нормально — модель компилирует CUDA-ядра при первом запуске (~30 с)
Низкое качество для языка X	Убедитесь в правильности language языка; для некоторых языков нужен более длинный эталонный аудиофрагмент
Аудиоартефакты	Увеличьте reference_audio увеличьте длительность до 5–10 с для лучшего клонирования голоса
Не удаётся загрузить модель	Установите HF_TOKEN переменная окружения для доступа к защищённой модели

Анализ затрат: Voxtral на Clore.ai против облачных TTS

Сервис	1 млн символов/месяц	Примечания
ElevenLabs Pro	$99/мес	500 тыс. символов включено, доплата за перерасход
OpenAI TTS	$15/мес	$15 за 1 млн символов
Google Cloud TTS	$16/мес	Стандартные голоса
Voxtral на Clore.ai	$3–15/мес	RTX 3060 по $0,03–0,07/ч, неограниченное число символов

Итог: Самостоятельный хостинг Voxtral на Clore.ai в 6–30 раз дешевле облачных TTS API, без ограничений по символам и с полной конфиденциальностью данных.

Дополнительное чтение

• Voxtral TTS на HuggingFace

• Блог Mistral AI — анонс Voxtral

• Сравните модели TTS на Clore.ai

• Другие руководства по аудио и голосу

---

Последнее обновление: 30 марта 2026