OpenVoice

Clore.ai पर OpenVoice का उपयोग करके सेकंडों के audio से किसी भी voice को clone करें

OpenVoice का उपयोग करके केवल कुछ सेकंड के ऑडियो से किसी भी आवाज़ को क्लोन करें।

सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं जिन्हें द्वारा किराए पर लिया गया है CLORE.AI मार्केटप्लेस.

CLORE.AI पर किराये पर लेना

1. पर जाएँ CLORE.AI मार्केटप्लेस

2. GPU प्रकार, VRAM, और मूल्य के अनुसार फ़िल्टर करें

3. चुनें ऑन-डिमांड (निश्चित दर) या स्पॉट (बिड प्राइस)

4. अपना ऑर्डर कॉन्फ़िगर करें:

   • Docker इमेज चुनें

   • पोर्ट सेट करें (SSH के लिए TCP, वेब UI के लिए HTTP)

   • यदि आवश्यक हो तो एनवायरनमेंट वेरिएबल जोड़ें

   • स्टार्टअप कमांड दर्ज करें

5. भुगतान चुनें: CLORE, BTC, या USDT/USDC

6. ऑर्डर बनाएं और डिप्लॉयमेंट का इंतज़ार करें

अपने सर्वर तक पहुँचें

• कनेक्शन विवरण में खोजें मेरे ऑर्डर

• वेब इंटरफेस: HTTP पोर्ट URL का उपयोग करें

• SSH: ssh -p <port> root@<proxy-address>

OpenVoice क्या है?

MyShell का OpenVoice कर सकता है:

• लगभग 10 सेकंड के ऑडियो से आवाज़ों को क्लोन करें

• भावना, उच्चारण, लय को नियंत्रित करें

• क्रॉस-लिंगुअल वॉइस क्लोनिंग

• ज़ीरो-शॉट वॉइस कन्वर्शन

आवश्यकताएँ

कार्य	न्यूनतम VRAM	अनुशंसित
इनफेरेन्स	4GB	RTX 3060
बैच प्रोसेसिंग	6GB	RTX 3070

त्वरित तैनाती

Docker इमेज:

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

पोर्ट:

22/tcp
7860/http

कमांड:

pip install git+https://github.com/myshell-ai/OpenVoice.git gradio && \
python -c "
import gradio as gr
from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import torch

ckpt_converter = 'checkpoints_v2/converter'
device = 'cuda'
tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

def clone(source_audio, reference_audio):
    source_se, _ = se_extractor.get_se(source_audio, tone_color_converter, vad=False)
    target_se, _ = se_extractor.get_se(reference_audio, tone_color_converter, vad=False)

    output_path = 'output.wav'
    tone_color_converter.convert(
        audio_src_path=source_audio,
        src_se=source_se,
        tgt_se=target_se,
        output_path=output_path
    )
    return output_path

demo = gr.Interface(
    fn=clone,
    inputs=[gr.Audio(type='filepath', label='Source'), gr.Audio(type='filepath', label='Target Voice')],
    outputs=gr.Audio(label='Cloned'),
    title='OpenVoice Clone'
)
demo.launch(server_name='0.0.0.0', server_port=7860)
"

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना खोजें http_pub URL में मेरे ऑर्डर:

1. जाएँ मेरे ऑर्डर पृष्ठ

2. अपने ऑर्डर पर क्लिक करें

3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए उदाहरणों में।

इंस्टॉलेशन

git clone https://github.com/myshell-ai/OpenVoice.git
cd OpenVoice
pip install -e .

# चेकपॉइंट डाउनलोड करें
python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='myshell-ai/OpenVoice', local_dir='checkpoints')"

बेसिक वॉइस क्लोनिंग

from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import torch

# आरंभ करें
device = "cuda" if torch.cuda.is_available() else "cpu"
ckpt_converter = 'checkpoints_v2/converter'

tone_color_converter = ToneColorConverter(
    f'{ckpt_converter}/config.json',
    device=device
)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

# स्पीकर एम्बेडिंग निकालें
source_se, _ = se_extractor.get_se("source_audio.wav", tone_color_converter, vad=False)
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

# आवाज़ बदलें
tone_color_converter.convert(
    audio_src_path="source_audio.wav",
    src_se=source_se,
    tgt_se=target_se,
    output_path="output.wav"
)

टेक्स्ट-टू-स्पीच के साथ

किसी भी आवाज़ में भाषण उत्पन्न करें:

from openvoice import se_extractor
from openvoice.api import ToneColorConverter, BaseSpeakerTTS
from melo.api import TTS

# TTS प्रारंभ करें
tts = TTS(language='EN', device=device)
speaker_ids = tts.hps.data.spk2id

# बेस स्पीच उत्पन्न करें
tts.tts_to_file("Hello, this is a test.", speaker_ids['EN-US'], "base.wav")

# लक्ष्य आवाज़ में क्लोन करें
source_se, _ = se_extractor.get_se("base.wav", tone_color_converter, vad=False)
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

tone_color_converter.convert(
    audio_src_path="base.wav",
    src_se=source_se,
    tgt_se=target_se,
    output_path="cloned_speech.wav"
)

बहु-भाषा समर्थन

from melo.api import TTS

# उपलब्ध भाषाएँ
languages = ['EN', 'ES', 'FR', 'ZH', 'JP', 'KR']

# अंग्रेज़ी
tts_en = TTS(language='EN', device=device)
tts_en.tts_to_file("Hello world", tts_en.hps.data.spk2id['EN-US'], "en.wav")

# चीनी
tts_zh = TTS(language='ZH', device=device)
tts_zh.tts_to_file("你好世界", tts_zh.hps.data.spk2id['ZH'], "zh.wav")

# जापानी
tts_jp = TTS(language='JP', device=device)
tts_jp.tts_to_file("こんにちは", tts_jp.hps.data.spk2id['JP'], "jp.wav")

इमोशन नियंत्रण

OpenVoice V2 भावना/शैली नियंत्रण का समर्थन करता है:

from openvoice.api import BaseSpeakerTTS

# शैलियों के साथ बेस TTS
base_speaker_tts = BaseSpeakerTTS(
    f'{ckpt_base}/config.json',
    device=device
)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')

# उपलब्ध शैलियाँ
styles = ['default', 'whispering', 'cheerful', 'terrified', 'angry', 'sad', 'friendly']

for style in styles:
    base_speaker_tts.tts(
        "This is a test sentence.",
        f"output_{style}.wav",
        speaker='default',
        language='English',
        style=style
    )

बैच प्रोसेसिंग

import os
from openvoice import se_extractor
from openvoice.api import ToneColorConverter

tone_color_converter = ToneColorConverter(
    f'{ckpt_converter}/config.json',
    device='cuda'
)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')

# एक बार लक्ष्य आवाज़ एम्बेडिंग प्राप्त करें
target_se, _ = se_extractor.get_se("target_voice.wav", tone_color_converter, vad=False)

input_dir = "./audio_files"
output_dir = "./cloned"
os.makedirs(output_dir, exist_ok=True)

for filename in os.listdir(input_dir):
    if filename.endswith(('.wav', '.mp3')):
        input_path = os.path.join(input_dir, filename)
        output_path = os.path.join(output_dir, f"cloned_{filename}")

        source_se, _ = se_extractor.get_se(input_path, tone_color_converter, vad=False)

        tone_color_converter.convert(
            audio_src_path=input_path,
            src_se=source_se,
            tgt_se=target_se,
            output_path=output_path
        )
        print(f"Cloned: {filename}")

API सर्वर

from fastapi import FastAPI, UploadFile
from fastapi.responses import FileResponse
from openvoice import se_extractor
from openvoice.api import ToneColorConverter
import tempfile
import shutil

app = FastAPI()

tone_color_converter = ToneColorConverter(
    'checkpoints_v2/converter/config.json',
    device='cuda'
)
tone_color_converter.load_ckpt('checkpoints_v2/converter/checkpoint.pth')

@app.post("/clone")
async def clone_voice(source: UploadFile, target: UploadFile):
    # अपलोड की गई फ़ाइलें सहेजें
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as src_tmp:
        shutil.copyfileobj(source.file, src_tmp)
        src_path = src_tmp.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as tgt_tmp:
        shutil.copyfileobj(target.file, tgt_tmp)
        tgt_path = tgt_tmp.name

    # एम्बेडिंग निकालें
    source_se, _ = se_extractor.get_se(src_path, tone_color_converter, vad=False)
    target_se, _ = se_extractor.get_se(tgt_path, tone_color_converter, vad=False)

    # परिवर्तित करें
    output_path = tempfile.mktemp(suffix=".wav")
    tone_color_converter.convert(
        audio_src_path=src_path,
        src_se=source_se,
        tgt_se=target_se,
        output_path=output_path
    )

    return FileResponse(output_path, media_type="audio/wav")

# चलाएँ: uvicorn server:app --host 0.0.0.0 --port 8000

गुणवत्ता सुझाव

सर्वश्रेष्ठ परिणामों के लिए

• 10-30 सेकंड का स्पष्ट संदर्भ ऑडियो उपयोग करें

• पृष्ठभूमि शोर से बचें

• संदर्भ में केवल एक ही वक्ता हो

• बोलने की गति का लगभग मिलान करें

ऑडियो प्रीप्रोसेसिंग

import librosa
import soundfile as sf

def preprocess_audio(input_path, output_path, target_sr=22050):
    audio, sr = librosa.load(input_path, sr=target_sr)

    # मौन को ट्रिम करें
    audio, _ = librosa.effects.trim(audio, top_db=20)

    # सामान्यीकरण
    audio = librosa.util.normalize(audio)

    sf.write(output_path, audio, target_sr)
    return output_path

preprocess_audio("raw_reference.wav", "clean_reference.wav")

अन्य टूल्स के साथ तुलना

फ़ीचर	OpenVoice	RVC	Bark
संदर्भ ऑडियो	10-30s	10+ मिनट	लागू नहीं
प्रशिक्षण	ज़रूरत नहीं	आवश्यक	लागू नहीं
स्पीड	तेज़	मध्यम	धीमा
गुणवत्ता	बहुत अच्छा	सर्वोत्तम	अच्छा
क्रॉस-लिंगुअल	हां	सीमित	हां

प्रदर्शन

कार्य	GPU	समय
एम्बेडिंग निकालें	RTX 3090	~1s
10s ऑडियो कन्वर्ट करें	RTX 3090	~2s
1 मिनट ऑडियो कन्वर्ट करें	RTX 3090	~8s

समस्याओं का निवारण

खराब वॉइस मिलान

• लंबा संदर्भ ऑडियो इस्तेमाल करें

• सुनिश्चित करें कि ऑडियो गुणवत्ता स्पष्ट हो

• पृष्ठभूमि शोर की जाँच करें

ऑडियो आर्टिफैक्ट्स

• गति/ज़ोर सेटिंग्स कम करें

• सुसंगत ऑडियो फ़ॉर्मैट का उपयोग करें

• नमूना दर मिलान की जाँच करें

आउट ऑफ़ मेमोरी

• छोटे क्लिप्स संसाधित करें

• बैच साइज घटाएँ

• स्पष्ट CUDA कैश खाली करें

लागत अनुमान

सामान्य CLORE.AI मार्केटप्लेस दरें (2024 के अनुसार):

GPU	घंटात्मक दर	दैनिक दर	4-घंटे सत्र
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

कीमतें प्रदाता और मांग के अनुसार बदलती हैं। जाँच करें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।

पैसे बचाएँ:

• उपयोग करें स्पॉट लचीले वर्कलोड के लिए मार्केट (अक्सर 30-50% सस्ता)

• भुगतान करें CLORE टोकन के साथ

• विभिन्न प्रदाताओं के बीच कीमतों की तुलना करें

अगले कदम

• Bark TTS - टेक्स्ट-टू-स्पीच

• RVC वॉयस क्लोन - प्रशिक्षण-आधारित क्लोनिंग

• Whisper ट्रांसक्रिप्शन - स्पीच-टू-टेक्स्ट