Kokoro TTS

Запустите Kokoro TTS — сверхлёгкую модель text-to-speech на 82M параметров на GPU Clore.ai.

Kokoro — это модель преобразования текста в речь с 82 млн параметров, которая намного превосходит свой класс. Несмотря на крошечный размер (менее 2 ГБ видеопамяти VRAM), она выдаёт удивительно естественную английскую речь и работает в реальном времени или быстрее даже на бюджетном оборудовании. Благодаря лицензии Apache 2.0, нескольким встроенным стилям голоса и поддержке инференса на CPU, Kokoro идеально подходит для приложений реального времени, чат-ботов и развёртывания на периферии.

HuggingFace: hexgrad/Kokoro-82M PyPI: kokoro Лицензия: Apache 2.0

Ключевые особенности

• 82 млн параметров — одна из самых маленьких высококачественных моделей TTS на рынке

• < 2 ГБ VRAM — работает практически на любом GPU и даже на CPU

• Несколько стилей голоса — американский английский, британский английский; мужские и женские голоса

• В реальном времени или быстрее — низколатентный инференс, подходящий для потоковой передачи

• Потоковая генерация — выдаёт аудиофрагменты по мере их создания

• Поддержка нескольких языков — английский (основной), японский (misaki[ja]), китайский (misaki[zh])

• Apache 2.0 — бесплатно для личного и коммерческого использования

Требования

Компонент	Минимум	Рекомендуется
GPU	Любой с 2 ГБ VRAM	RTX 3060
VRAM	2 ГБ	4 ГБ
ОЗУ	4 ГБ	8 ГБ
Диск	500 МБ	1 ГБ
Python	3.9+	3.11
Система	установлен espeak-ng	—

Рекомендация Clore.ai: RTX 3060 ($0.03–0.07/ч) более чем достаточно. Kokoro может даже работать на инстансах только с CPU для чрезвычайно экономичного TTS.

Установка

# Установите системную зависимость
apt-get install -y espeak-ng

# Установите Kokoro и аудио I/O
pip install kokoro>=0.9.4 soundfile torch

# Для поддержки японского языка (необязательно)
pip install misaki[ja]

# Для поддержки китайского языка (необязательно)
pip install misaki[zh]

# Проверить
python -c "from kokoro import KPipeline; print('Kokoro готов')"

Быстрый старт

from kokoro import KPipeline
import soundfile as sf

# Инициализация конвейера
# 'a' = американский английский, 'b' = британский английский
pipeline = KPipeline(lang_code='a')

text = """
Kokoro — лёгкая модель преобразования текста в речь всего с восемьюдесятью двумя миллионами
параметров. Несмотря на небольшой размер, она создаёт естественную и выразительную речь.
"""

# Генерация аудио — варианты голоса: af_heart, af_bella, af_nicole, af_sarah, af_sky,
#                                  am_adam, am_michael, bf_emma, bf_isabella, bm_george, bm_lewis
generator = pipeline(text, voice='af_heart', speed=1.0)

for i, (graphemes, phonemes, audio) in enumerate(generator):
    sf.write(f'output_{i}.wav', audio, 24000)
    print(f"Фрагмент {i}: {graphemes[:50]}...")

print("Готово!")

Примеры использования

Сравнение нескольких голосов

Сгенерируйте один и тот же текст разными голосами для сравнения:

from kokoro import KPipeline
import soundfile as sf

pipeline = KPipeline(lang_code='a')

text = "Добро пожаловать в Clore.ai, P2P-рынок GPU."

voices = ['af_heart', 'af_bella', 'am_adam', 'am_michael']

for voice in voices:
    generator = pipeline(text, voice=voice, speed=1.0)
    for i, (gs, ps, audio) in enumerate(generator):
        sf.write(f'{voice}_{i}.wav', audio, 24000)
    print(f"Сгенерировано: {voice}")

Британский английский с управлением скоростью

from kokoro import KPipeline
import soundfile as sf

# 'b' = британский английский
pipeline = KPipeline(lang_code='b')

text = "Добрый день. Это демонстрация синтеза британского английского."

# speed < 1.0 = медленнее, speed > 1.0 = быстрее
generator = pipeline(text, voice='bf_emma', speed=0.85)

all_audio = []
for gs, ps, audio in generator:
    all_audio.append(audio)

import numpy as np
combined = np.concatenate(all_audio)
sf.write('british_slow.wav', combined, 24000)
print(f"Общая длительность: {len(combined)/24000:.1f}с")

Пакетная обработка файлов

Обрабатывайте несколько текстов и объединяйте их в один файл в стиле аудиокниги:

from kokoro import KPipeline
import soundfile as sf
import numpy as np

pipeline = KPipeline(lang_code='a')

chapters = [
    "Глава первая. Начало нашего путешествия начинается здесь.",
    "Солнце взошло над горами, отбрасывая длинные тени через долину.",
    "Она открыла дверь и шагнула в неизвестность.",
]

all_audio = []
silence = np.zeros(int(24000 * 0.5))  # 0.5 с тишины между главами

for idx, text in enumerate(chapters):
    for gs, ps, audio in pipeline(text, voice='af_bella', speed=1.0):
        all_audio.append(audio)
    all_audio.append(silence)
    print(f"Глава {idx+1} завершена")

combined = np.concatenate(all_audio)
sf.write('audiobook.wav', combined, 24000)
print(f"Итого: {len(combined)/24000:.1f}с")

Советы для пользователей Clore.ai

• Инференс на CPU — Kokoro достаточно мала, чтобы работать на CPU; полезно для задач, чувствительных к стоимости, или когда GPU недоступны

• Потоковая передача — генератор выдаёт аудиофрагменты по мере их создания, что позволяет воспроизводить их в реальном времени в веб-приложениях

• Совместите с WhisperX — используйте WhisperX для транскрибации и Kokoro для повторного синтеза в голосовых пайплайнах

• Docker — используйте pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime и добавьте apt-get install -y espeak-ng для вашего стартапа

• Согласованность голоса — придерживайтесь одного идентификатора голоса в каждом проекте для стабильного опыта рассказчика

• Экономическая эффективность — при $0.03–0.07/ч на RTX 3060 Kokoro — одно из самых дешёвых решений TTS для самостоятельного хостинга

Устранение неполадок

Проблема	Решение
espeak-ng не найден	Запускайте apt-get install -y espeak-ng (обязательная системная зависимость)
ModuleNotFoundError: kokoro	Установите с помощью pip install kokoro>=0.9.4 soundfile
Аудио звучит роботизированно	Попробуйте другой голос (например, af_heart обычно звучит наиболее естественно)
Японский/китайский не работает	Установите дополнительные языковые пакеты: pip install misaki[ja] или misaki[zh]
Недостаточно памяти на CPU	Уменьшите длину текста за один вызов; Kokoro выдаёт фрагменты потоково, поэтому объём памяти остаётся ограниченным
Медленный первый запуск	Веса модели загружаются при первом использовании (~200 МБ); последующие запуски мгновенные