Dia TTS (Nari Labs)

Nari Labs द्वारा Dia TTS के साथ भावना सहित बहु-प्रवक्ता संवाद जनरेट करें

Nari Labs का Dia एक उन्नत टेक्स्ट-टू-स्पीच मॉडल है जो इसमें विशेषज्ञ है यथार्थवादी बहु-वक्ता संवाद. पारंपरिक TTS के विपरीत, जो एक समय में एक ही वक्ता को संभालता है, Dia भावना, हँसी, हिचकिचाहट और अन्य गैर-मौखिक संकेतों के साथ कई वक्ताओं के बीच स्वाभाविक बातचीत उत्पन्न करता है। 1.6B पैरामीटर के साथ, यह किसी भी 8GB+ GPU पर चलता है।

मुख्य विशेषताएँ

• बहु-वक्ता संवाद: एक ही पास में 2+ वक्ताओं के बीच बातचीत उत्पन्न करें

• गैर-मौखिक संकेत: हँसी (हँसता है), हिचकिचाहट (आह भरता है), ठहराव — स्वतः अंतर्निहित

• भावनात्मक वाणी: स्पष्ट भावना टैग के बिना स्वाभाविक उतार-चढ़ाव

• 1.6B पैरामीटर: RTX 3070/3080 (8-10GB VRAM) पर फिट हो जाता है

• Apache 2.0 लाइसेंस: पूर्ण व्यावसायिक उपयोग

• HuggingFace एकीकरण: Transformers लाइब्रेरी के साथ काम करता है

आवश्यकताएँ

घटक	न्यूनतम	अनुशंसित
GPU	RTX 3070 (8GB)	RTX 3080 (10GB)
VRAM	8GB	10GB+
RAM	16GB	32GB
डिस्क	10GB	15GB
Python	3.9+	3.11

अनुशंसित Clore.ai GPU: RTX 3080 10GB ($0.05–0.19/घंटा)

इंस्टॉलेशन

# विकल्प 1: pip install
pip install dia-tts

# विकल्प 2: स्रोत से
git clone https://github.com/nari-labs/dia.git
cd dia
pip install -e .

त्वरित शुरुआत

मूल बहु-वक्ता संवाद

from dia import Dia

# मॉडल लोड करें
model = Dia.from_pretrained("nari-labs/Dia-1.6B")

# बहु-वक्ता बातचीत उत्पन्न करें
# [S1] = वक्ता 1, [S2] = वक्ता 2
text = """[S1] अरे, क्या तुमने नया GPU किराये का प्लेटफ़ॉर्म आज़माया है?
[S2] तुम Clore की बात कर रहे हो? हाँ, मैंने कल एक RTX 4090 किराये पर ली थी।
[S1] कैसा रहा?
[S2] (हँसता है) सच कहूँ? जितना मैंने सोचा था उससे कहीं सस्ता। लगभग दो डॉलर प्रतिदिन।
[S1] नहीं यार। यह... यह तो वाकई पागलपन है।"""

audio = model.generate(text)

# फ़ाइल में सहेजें
import soundfile as sf
sf.write("dialog.wav", audio, samplerate=24000)

भावना और गैर-मौखिक संकेतों के साथ

# Dia स्वचालित रूप से प्राकृतिक भाषण पैटर्न को संभालता है
text = """[S1] अभी-अभी मुझे परिणाम मिले हैं...
[S2] और? मुझे और इंतज़ार मत कराओ!
[S1] (आह भरता है) हम पास हो गए। हमने सच में सभी परीक्षण पास कर लिए।
[S2] (हँसता है) मैंने तुमसे कहा था! मैंने तुमसे कहा था कि हम कर लेंगे!
[S1] मैं इस पर विश्वास नहीं कर पा रहा... (हँसता है) ठीक है, ठीक है, चलो जश्न मनाते हैं।"""

audio = model.generate(text, temperature=0.8)
sf.write("emotional_dialog.wav", audio, samplerate=24000)

एकल वक्ता

# एकल वक्ता के लिए भी काम करता है
text = "[S1] Clore AI दस्तावेज़ में आपका स्वागत है। इस गाइड में, हम आपके पहले GPU किराये को सेट करने और एक मशीन लर्निंग मॉडल को तैनात करने की प्रक्रिया से गुजरेंगे."

audio = model.generate(text)
sf.write("narration.wav", audio, samplerate=24000)

Gradio वेब UI

# इंटरैक्टिव डेमो लॉन्च करें
python -m dia.app --port 7860 --share

# या मैन्युअल रूप से:
import gradio as gr
from dia import Dia

model = Dia.from_pretrained("nari-labs/Dia-1.6B")

def generate_speech(text):
    audio = model.generate(text)
    return (24000, audio)

demo = gr.Interface(
    fn=generate_speech,
    inputs=gr.Textbox(label="संवाद ([S1], [S2] टैग का उपयोग करें)", lines=10),
    outputs=gr.Audio(label="जनरेट किया गया भाषण"),
    title="Dia TTS — बहु-वक्ता संवाद"
)
demo.launch(server_port=7860)

उपयोग के मामले

• पॉडकास्ट जेनरेशन: स्क्रिप्ट से संवादात्मक पॉडकास्ट बनाएं

• ऑडियोबुक संवाद: अलग-अलग आवाज़ों के साथ पात्रों की बातचीत उत्पन्न करें

• गेम संवाद: स्वाभाविक भाषण पैटर्न के साथ NPC बातचीत

• प्रशिक्षण डेटा: ASR प्रशिक्षण के लिए विविध भाषण डेटासेट उत्पन्न करें

• चैटबॉट आवाज़ें: भावनात्मक प्रतिक्रियाओं के साथ बहु-चरणीय संवाद

Clore.ai उपयोगकर्ताओं के लिए सुझाव

• RTX 3080 आदर्श है: 10GB VRAM $0.05–0.19/घंटा पर Dia को आसानी से संभालता है

• बैच जनरेशन: अपने किराये के समय को अधिकतम करने के लिए लूप में कई संवादों को संसाधित करें

• मॉडल्स को स्थायी संग्रहण में सहेजें: यदि आपके Clore इंस्टेंस में स्थायी डिस्क है, तो दोबारा डाउनलोड से बचने के लिए मॉडल को कैश करें

• तापमान 0.7–0.9: कम = अधिक सुसंगत, अधिक = अधिक अभिव्यंजक/विविध

• केवल अंग्रेज़ी: Dia वर्तमान में अंग्रेज़ी पर केंद्रित है — बहुभाषी के लिए Qwen3-TTS गाइड देखें

समस्या निवारण

समस्या	समाधान
CUDA out of memory	उपयोग करें model.to("cuda", torch_dtype=torch.float16) हाफ प्रिसीजन के लिए
वक्ताओं की आवाज़ें समान लगती हैं	प्रति वक्ता अधिक पाठ/संदर्भ जोड़ें; उच्च तापमान आज़माएँ
गैर-मौखिक संकेत अनदेखे हैं	सही प्रारूप सुनिश्चित करें: (हँसता है), (आह भरता है) कोष्ठकों में
ऑडियो गुणवत्ता कम	बढ़ाएँ num_steps यदि उपलब्ध हो तो पैरामीटर; 24kHz सैंपल रेट सुनिश्चित करें

अधिक पढ़ें

• Nari Labs GitHub

• HuggingFace मॉडल

• तुलना: Dia बनाम ElevenLabs — आधिकारिक डेमो पेज