OpenVoice

Клонируйте любой голос по нескольким секундам аудио с помощью OpenVoice на Clore.ai

Клонируйте любой голос, используя всего несколько секунд аудио с OpenVoice.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое OpenVoice?

OpenVoice от MyShell умеет:

• Клонировать голоса по ~10 секундам аудио

• Управлять эмоциями, акцентом и ритмом

• Межъязыковое клонирование голоса

• Преобразование голоса без обучения

Требования

Задача	Мин. VRAM	Рекомендуется
Инференс	4 ГБ	RTX 3060
Пакетная обработка	6 ГБ	RTX 3070

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

Порты:

22/tcp
7860/http

Команда:

pip install git+https://github.com/myshell-ai/OpenVoice.git gradio && \
python -c "
import gradio as gr
from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import torch

ckpt_converter = 'checkpoints_v2/converter'
device = 'cuda'
tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

def clone(source_audio, reference_audio):
    source_se, _ = se_extractor.get_se(source_audio, tone_color_converter, vad=False)
    target_se, _ = se_extractor.get_se(reference_audio, tone_color_converter, vad=False)

    output_path = 'output.wav'
    tone_color_converter.convert(
        audio_src_path=source_audio,
        src_se=source_se,
        tgt_se=target_se,
        output_path=output_path
    )
    return output_path

demo = gr.Interface(
    fn=clone,
    inputs=[gr.Audio(type='filepath', label='Источник'), gr.Audio(type='filepath', label='Целевой голос')],
    outputs=gr.Audio(label='Клонированный'),
    title='Клонирование OpenVoice'
)
demo.launch(server_name='0.0.0.0', server_port=7860)
"

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

git clone https://github.com/myshell-ai/OpenVoice.git
cd OpenVoice
pip install -e .

# Скачать контрольные точки
python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='myshell-ai/OpenVoice', local_dir='checkpoints')"

Базовое клонирование голоса

from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import torch

# Инициализация
device = "cuda" if torch.cuda.is_available() else "cpu"
ckpt_converter = 'checkpoints_v2/converter'

tone_color_converter = ToneColorConverter(
    f'{ckpt_converter}/config.json',
    device=device
)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

# Извлечь эмбеддинги говорящего
source_se, _ = se_extractor.get_se("source_audio.wav", tone_color_converter, vad=False)
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

# Преобразовать голос
tone_color_converter.convert(
    audio_src_path="source_audio.wav",
    src_se=source_se,
    tgt_se=target_se,
    output_path="output.wav"
)

С использованием TTS

Сгенерировать речь любым голосом:

from openvoice import se_extractor
from openvoice.api import ToneColorConverter, BaseSpeakerTTS
from melo.api import TTS

# Инициализировать TTS
tts = TTS(language='EN', device=device)
speaker_ids = tts.hps.data.spk2id

# Сгенерировать базовую речь
tts.tts_to_file("Привет, это тест.", speaker_ids['EN-US'], "base.wav")

# Клонировать в целевой голос
source_se, _ = se_extractor.get_se("base.wav", tone_color_converter, vad=False)
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

tone_color_converter.convert(
    audio_src_path="base.wav",
    src_se=source_se,
    tgt_se=target_se,
    output_path="cloned_speech.wav"
)

Поддержка нескольких языков

from melo.api import TTS

# Доступные языки
languages = ['EN', 'ES', 'FR', 'ZH', 'JP', 'KR']

# Английский
tts_en = TTS(language='EN', device=device)
tts_en.tts_to_file("Привет, мир", tts_en.hps.data.spk2id['EN-US'], "en.wav")

# Китайский
tts_zh = TTS(language='ZH', device=device)
tts_zh.tts_to_file("你好世界", tts_zh.hps.data.spk2id['ZH'], "zh.wav")

# Японский
tts_jp = TTS(language='JP', device=device)
tts_jp.tts_to_file("こんにちは", tts_jp.hps.data.spk2id['JP'], "jp.wav")

Управление эмоциями

OpenVoice V2 поддерживает управление эмоциями/стилем:

from openvoice.api import BaseSpeakerTTS

# Базовый TTS со стилями
base_speaker_tts = BaseSpeakerTTS(
    f'{ckpt_base}/config.json',
    device=device
)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

# Доступные стили
styles = ['default', 'whispering', 'cheerful', 'terrified', 'angry', 'sad', 'friendly']

for style in styles:
    base_speaker_tts.tts(
        "Это тестовое предложение.",
        f"output_{style}.wav",
        speaker='default',
        language='English',
        style=style
    )

Пакетная обработка

import os
from openvoice import se_extractor
from openvoice.api import ToneColorConverter

tone_color_converter = ToneColorConverter(
    f'{ckpt_converter}/config.json',
    device='cuda'
)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

# Один раз получить эмбеддинг целевого голоса
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

input_dir = "./audio_files"
output_dir = "./cloned"
os.makedirs(output_dir, exist_ok=True)

for filename in os.listdir(input_dir):
    if filename.endswith(('.wav', '.mp3')):
        input_path = os.path.join(input_dir, filename)
        output_path = os.path.join(output_dir, f"cloned_{filename}")

        source_se, _ = se_extractor.get_se(input_path, tone_color_converter, vad=False)

        tone_color_converter.convert(
            audio_src_path=input_path,
            src_se=source_se,
            tgt_se=target_se,
            output_path=output_path
        )
        print(f"Клонировано: {filename}")

API-сервер

from fastapi import FastAPI, UploadFile
from fastapi.responses import FileResponse
from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import tempfile
import shutil

app = FastAPI()

tone_color_converter = ToneColorConverter(
    'checkpoints_v2/converter/config.json',
    device='cuda'
)
tone_color_converter.load_ckpt('checkpoints_v2/converter/checkpoint.pth')

@app.post("/clone")
async def clone_voice(source: UploadFile, target: UploadFile):
    # Сохранить загруженные файлы
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as src_tmp:
        shutil.copyfileobj(source.file, src_tmp)
        src_path = src_tmp.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as tgt_tmp:
        shutil.copyfileobj(target.file, tgt_tmp)
        tgt_path = tgt_tmp.name

    # Извлечь эмбеддинги
    source_se, _ = se_extractor.get_se(src_path, tone_color_converter, vad=False)
    target_se, _ = se_extractor.get_se(tgt_path, tone_color_converter, vad=False)

    # Конвертировать
    output_path = tempfile.mktemp(suffix=".wav")
    tone_color_converter.convert(
        audio_src_path=src_path,
        src_se=source_se,
        tgt_se=target_se,
        output_path=output_path
    )

    return FileResponse(output_path, media_type="audio/wav")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Советы по качеству

Для лучших результатов

• Используйте 10–30 секунд чистого референсного аудио

• Избегайте фонового шума

• В референсе должен быть только один говорящий

• Примерно совпадайте по темпу речи

Предобработка аудио

import librosa
import soundfile as sf

def preprocess_audio(input_path, output_path, target_sr=22050):
    audio, sr = librosa.load(input_path, sr=target_sr)

    # Обрезать тишину
    audio, _ = librosa.effects.trim(audio, top_db=20)

    # Нормализовать
    audio = librosa.util.normalize(audio)

    sf.write(output_path, audio, target_sr)
    return output_path

preprocess_audio("raw_reference.wav", "clean_reference.wav")

Сравнение с другими инструментами

Функция	OpenVoice	RVC	Bark
Референсное аудио	10-30с	10+ мин	Н/Д
Обучение	Не требуется	Требуется	Н/Д
Скорость	Быстро	Средне	Медленно
Качество	Отлично	Лучше всего	Хорошо
Межъязыковое	Да	Ограниченная	Да

Производительность

Задача	GPU	Время
Извлечь эмбеддинг	RTX 3090	~1с
Преобразовать 10-секундное аудио	RTX 3090	~2 с
Преобразовать 1-минутное аудио	RTX 3090	~8 с

Устранение неполадок

Плохое совпадение голоса

• Используйте более длинное референсное аудио

• Убедитесь в чистом качестве аудио

• Проверьте наличие фонового шума

Аудио-артефакты

• Снизьте настройки скорости/акцента

• Используйте единообразный формат аудио

• Проверьте совпадение частоты дискретизации

Недостаточно памяти

• Обрабатывайте более короткие фрагменты

• Уменьшите размер пакета

• Очистите кеш CUDA

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• Bark TTS - преобразование текста в речь

• Клонирование голоса RVC - Клонирование на основе обучения

• Whisper Transcription - преобразование речи в текст