F5-TTS

Clore.ai GPUs पर F5-TTS के साथ तेज़ और प्रवाही टेक्स्ट-टू-स्पीच

F5-TTS के साथ प्राकृतिक भाषण जनरेट करें - एक तेज़ और प्रवाहपूर्ण TTS सिस्टम।

सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं, जिन्हें किराए पर लिया गया है CLORE.AI मार्केटप्लेस.

CLORE.AI पर किराए पर लेना

1. विज़िट करें CLORE.AI मार्केटप्लेस

2. GPU प्रकार, VRAM और कीमत के अनुसार फ़िल्टर करें

3. चुनें ऑन-डिमांड (स्थिर दर) या स्पॉट (बोली मूल्य)

4. अपना ऑर्डर कॉन्फ़िगर करें:

   • Docker इमेज चुनें

   • पोर्ट सेट करें (SSH के लिए TCP, वेब UI के लिए HTTP)

   • यदि आवश्यक हो तो environment variables जोड़ें

   • स्टार्टअप कमांड दर्ज करें

5. भुगतान चुनें: CLORE, BTCया USDT/USDC

6. ऑर्डर बनाएं और डिप्लॉयमेंट की प्रतीक्षा करें

अपने सर्वर तक पहुँचें

• कनेक्शन विवरण यहाँ खोजें मेरे ऑर्डर

• वेब इंटरफ़ेस: HTTP पोर्ट URL का उपयोग करें

• SSH: ssh -p <port> root@<proxy-address>

F5-TTS क्या है?

F5-TTS प्रदान करता है:

• तेज़ इन्फ़रेंस (रियल-टाइम से भी तेज़)

• प्राकृतिक प्रोसोडी और स्वरलय

• ज़ीरो-शॉट वॉइस क्लोनिंग

• बहु-भाषा समर्थन

संसाधन

• GitHub: SWivid/F5-TTS

• HuggingFace: SWivid/F5-TTS

• पेपर: F5-TTS पेपर

• डेमो: HuggingFace Space

अनुशंसित हार्डवेयर

घटक	न्यूनतम	अनुशंसित	इष्टतम
GPU	RTX 3060 12GB	RTX 4080 16GB	RTX 4090 24GB
VRAM	6GB	12GB	16GB
CPU	4 कोर	8 कोर	16 कोर
RAM	16GB	32GB	64GB
स्टोरेज	20GB SSD	50GB NVMe	100GB NVMe
इंटरनेट	100 Mbps	500 Mbps	1 Gbps

CLORE.AI पर त्वरित परिनियोजन

Docker इमेज:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

पोर्ट:

22/tcp
7860/http

कमांड:

pip install f5-tts && \\
f5-tts-webui

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना http_pub URL यहाँ मेरे ऑर्डर:

1. पर जाएँ मेरे ऑर्डर पेज

2. अपने ऑर्डर पर क्लिक करें

3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए गए उदाहरणों में।

इंस्टॉलेशन

pip install f5-tts

# या स्रोत से
git clone https://github.com/SWivid/F5-TTS.git
cd F5-TTS
pip install -e .

आप क्या बना सकते हैं

वॉइस सामग्री

• पॉडकास्ट निर्माण

• ऑडियोबुक वाचन

• वीडियो के लिए वॉइस-ओवर

सुलभता

• स्क्रीन रीडर

• दस्तावेज़ पाठक

• शैक्षिक सामग्री

इंटरैक्टिव अनुप्रयोग

• वॉइस असिस्टेंट

• गेमिंग NPCs

• ग्राहक सेवा बॉट

रचनात्मक प्रोजेक्ट

• पात्रों की आवाज़ें

• ऑडियो नाटक

• संगीत वोकल्स

मूल उपयोग

सरल TTS

from f5_tts import F5TTS

# आरंभ करें
tts = F5TTS(device="cuda")

# भाषण उत्पन्न करें
audio = tts.generate(
    text="नमस्ते! यह F5-TTS प्राकृतिक भाषण जनरेट कर रहा है।",
    output_path="output.wav"
)

वॉइस क्लोनिंग

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# संदर्भ ऑडियो से आवाज़ क्लोन करें
audio = tts.generate(
    text="यह मेरी क्लोन की हुई आवाज़ नया पाठ बोल रही है।",
    ref_audio="reference_voice.wav",
    ref_text="यह संदर्भ पाठ है जो ऑडियो में बोला गया है।",
    output_path="cloned_output.wav"
)

बहु-भाषा समर्थन

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

# अंग्रेज़ी
tts.generate(
    text="नमस्ते, आज आप कैसे हैं?",
    ref_audio="english_speaker.wav",
    output_path="english.wav"
)

# चीनी
tts.generate(
    text="你好，आज आपका दिन कैसा है？",
    ref_audio="chinese_speaker.wav",
    output_path="chinese.wav"
)

# फ्रेंच
tts.generate(
    text="Bonjour, comment allez-vous?",
    ref_audio="french_speaker.wav",
    output_path="french.wav"
)

बैच प्रोसेसिंग

from f5_tts import F5TTS
import os

tts = F5TTS(device="cuda")

texts = [
    "हमारे उत्पाद प्रदर्शन में आपका स्वागत है।",
    "आज हम आपको मुख्य विशेषताएँ दिखाएँगे।",
    "आइए मुख्य डैशबोर्ड से शुरू करें।",
    "जैसा कि आप देख सकते हैं, इंटरफ़ेस सहज है।",
    "देखने के लिए धन्यवाद!"
]

ref_audio = "narrator_voice.wav"
ref_text = "संदर्भ ऑडियो से नमूना पाठ।"
output_dir = "./narration"
os.makedirs(output_dir, exist_ok=True)

for i, text in enumerate(texts):
    print(f"जनरेट किया जा रहा है {i+1}/{len(texts)}: {text[:50]}...")

    tts.generate(
        text=text,
        ref_audio=ref_audio,
        ref_text=ref_text,
        output_path=f"{output_dir}/segment_{i:03d}.wav"
    )

लंबे-रूप का ऑडियो

from f5_tts import F5TTS

tts = F5TTS(device="cuda")

long_text = """
मशीन लर्निंग पर इस व्यापक मार्गदर्शिका में आपका स्वागत है।
इस अध्याय में, हम न्यूरल नेटवर्क्स की मूल बातें समझेंगे।
न्यूरल नेटवर्क्स जैविक न्यूरल नेटवर्क्स से प्रेरित कम्प्यूटिंग सिस्टम हैं।
वे परस्पर जुड़े नोड्स से बने होते हैं जो जानकारी संसाधित करते हैं।
आइए बुनियादी अवधारणाओं से शुरू करें।
"""

# F5-TTS लंबे पाठ को वाक्यों में विभाजित करके संभालता है
audio = tts.generate(
    text=long_text,
    ref_audio="narrator.wav",
    output_path="long_narration.wav",
    chunk_size=200  # प्रति खंड वर्ण
)

Gradio इंटरफ़ेस

import gradio as gr
from f5_tts import F5TTS
import tempfile

tts = F5TTS(device="cuda")

def generate_speech(text, ref_audio, ref_text):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        tts.generate(
            text=text,
            ref_audio=ref_audio,
            ref_text=ref_text,
            output_path=f.name
        )
        return f.name

demo = gr.Interface(
    fn=generate_speech,
    inputs=[
        gr.Textbox(label="बोलने के लिए पाठ", lines=5),
        gr.Audio(type="filepath", label="संदर्भ आवाज़"),
        gr.Textbox(label="संदर्भ पाठ", lines=2)
    ],
    outputs=gr.Audio(label="जनरेट किया गया भाषण"),
    title="F5-TTS वॉइस क्लोनिंग",
    description="CLORE.AI सर्वरों पर F5-TTS के साथ किसी भी आवाज़ को क्लोन करें"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

एपीआई सर्वर

from fastapi import FastAPI, UploadFile, File, Form
from fastapi.responses import FileResponse
from f5_tts import F5TTS
import tempfile

app = FastAPI()
tts = F5TTS(device="cuda")

@app.post("/synthesize")
async def synthesize(
    text: str = Form(...),
    ref_audio: UploadFile = File(...),
    ref_text: str = Form(...)
):
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as ref_file:
        ref_file.write(await ref_audio.read())
        ref_path = ref_file.name

    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as out_file:
        tts.generate(
            text=text,
            ref_audio=ref_path,
            ref_text=ref_text,
            output_path=out_file.name
        )
        return FileResponse(out_file.name, media_type="audio/wav")

# चलाएँ: uvicorn server:app --host 0.0.0.0 --port 8000

प्रदर्शन

पाठ की लंबाई	GPU	जनरेशन समय	रियल-टाइम फ़ैक्टर
100 वर्ण	RTX 3090	0.5s	5x
100 वर्ण	RTX 4090	0.3s	8x
500 वर्ण	RTX 4090	1.2s	10x
1000 वर्ण	A100	2.0से.	12x

सामान्य समस्याएँ और समाधान

खराब आवाज़ मेल

समस्या: जनरेट की गई आवाज़ संदर्भ से मेल नहीं खाती

समाधान:

• 5-15 सेकंड का स्पष्ट संदर्भ ऑडियो उपयोग करें

• सटीक संदर्भ पाठ प्रतिलिपि प्रदान करें

• संदर्भ में बैकग्राउंड शोर से बचें

• पाठ और संदर्भ की भाषा मिलाएँ

उच्चारण संबंधी समस्याएँ

समस्या: शब्दों या नामों का गलत उच्चारण करता है

समाधान:

# कठिन शब्दों के लिए ध्वन्यात्मक संकेतों का उपयोग करें
text = "CLORE में आपका स्वागत है (उच्चारण KLOR) AI प्लेटफ़ॉर्म."

# या SSML जैसी फ़ॉर्मेटिंग का उपयोग करें
text = "CEO, जॉन स्मिथ (SMIHTH), बोलेंगे."

ऑडियो गुणवत्ता संबंधी समस्याएँ

समस्या: आउटपुट रोबोटिक या विकृत सुनाई देता है

समाधान:

• उच्च-गुणवत्ता वाला संदर्भ ऑडियो (24kHz+) उपयोग करें

• संदर्भ से शोर हटाएँ

• विभिन्न संदर्भ नमूनों को आज़माएँ

• जनरेशन गुणवत्ता सेटिंग्स बढ़ाएँ

मेमोरी संबंधी समस्याएँ

समस्या: लंबे पाठ के लिए मेमोरी समाप्त हो जाती है

समाधान:

# छोटे खंडों में संसाधित करें
tts.generate(
    text=long_text,
    chunk_size=100,  # छोटे खंड
    overlap=20  # सहज संक्रमण
)

धीमी जनरेशन

समस्या: जनरेट करने में बहुत समय लगता है

समाधान:

• GPU इन्फ़रेंस (CUDA) का उपयोग करें

• तेज़ प्रोसेसिंग के लिए chunk_size कम करें

• RTX 4090 या उससे बेहतर उपयोग करें

• हाफ-प्रिसिजन (fp16) सक्षम करें

समस्या निवारण

आवाज़ संदर्भ से मेल नहीं खाती

• 5-15 सेकंड का स्पष्ट संदर्भ ऑडियो उपयोग करें

• संदर्भ पाठ को सटीक रूप से लिप्यंतरित करें

• संदर्भ में बैकग्राउंड शोर से बचें

ऑडियो गुणवत्ता संबंधी समस्याएँ

• उच्च सैंपल रेट संदर्भ (24kHz+) उपयोग करें

• संदर्भ से शोर हटाएँ

• विभिन्न संदर्भ नमूनों को आज़माएँ

धीमी जनरेशन

• CUDA का उपयोग करें (CPU नहीं)

• पाठ की लंबाई कम करें या उसे खंडों में बाँटें

• छोटे बैच आकारों का उपयोग करें

भाषा मेल नहीं खाती

• पाठ की भाषा को संदर्भ ऑडियो की भाषा से मिलाएँ

• कुछ भाषाओं के लिए विशेष मॉडल चाहिए

लागत का अनुमान

CLORE.AI मार्केटप्लेस की सामान्य दरें (2024 तक):

GPU	प्रति घंटा दर	प्रति दिन दर	4-घंटे का सत्र
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

मूल्य प्रदाता और मांग के अनुसार बदलते हैं। देखें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।

पैसे बचाएँ:

• का उपयोग करें स्पॉट बाधित किए जा सकने वाले कार्य के लिए मार्केट — लगभग एक-तिहाई सर्वरों की स्पॉट कीमत ऑन-डिमांड से कम होती है (मध्य ~13% छूट), बाकी उससे मेल खाते हैं

• से भुगतान करें CLORE टोकन

• विभिन्न प्रदाताओं के बीच कीमतों की तुलना करें

अगले चरण

• XTTS - वैकल्पिक TTS

• Bark TTS - अभिव्यंजक TTS

• SadTalker - बोलते चेहरे