> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen35-omni.md). # Qwen3.5-Omni (मल्टिमोडल) अलीबाबा का **Qwen3.5-Omni** 30 मार्च 2026 को Apache 2.0 लाइसेंस के तहत जारी किया गया एक एकीकृत एंड-टू-एंड मल्टीमॉडल मॉडल है। यह एक साथ पाठ, ऑडियो, छवियों और वीडियो को समझ और तर्क कर सकता है — और आउटपुट के रूप में पाठ तथा वाक् दोनों उत्पन्न कर सकता है। इसे किराए के Clore.ai GPU पर चलाने से आपको क्लाउड API लागत के एक हिस्से में प्रोडक्शन-ग्रेड मल्टीमॉडल असिस्टेंट मिलता है। *** ## Qwen3.5-Omni क्या है? Qwen3.5-Omni एक **एंड-टू-एंड मल्टीमॉडल मॉडल** है, जो एक स्पार्स Mixture-of-Experts आर्किटेक्चर पर आधारित है। HuggingFace रिलीज़ (`Qwen3.5-Omni-7B`) Alibaba की नामकरण परंपरा का उपयोग करती है, जहाँ "7B" प्रति inference step सक्रिय-पैरामीटर कॉन्फ़िगरेशन को संदर्भित करता है; पूर्ण checkpoint में सभी expert weights शामिल होते हैं। यही sparsity इसे INT4 quantization का उपयोग करके एक ही RTX 4090 (24 GB) पर deploy करने योग्य बनाती है — ऐसा मॉडल जिसे full precision पर अन्यथा कहीं अधिक VRAM की आवश्यकता होती। ### मुख्य क्षमताएँ | मॉडैलिटी | इनपुट | आउटपुट | | -------- | ---------------------- | ----------------- | | पाठ | ✅ | ✅ | | ऑडियो | ✅ (लिप्यंतरण, समझ) | ✅ (वाक् संश्लेषण) | | इमेज | ✅ (समझ, OCR, विश्लेषण) | — | | वीडियो | ✅ (दृश्य समझ, QA) | — | पहले के मल्टीमॉडल मॉडल्स के विपरीत, जो अलग-अलग encoders को जोड़ते हैं, Qwen3.5-Omni सभी modalities को एक ही एकीकृत forward pass में प्रोसेस करता है। यह एक ही inference call में एक साथ बोले गए ऑडियो का लिप्यंतरण कर सकता है, वीडियो फ़्रेम का विश्लेषण कर सकता है, और पाठ तथा synthesized voice दोनों के साथ प्रतिक्रिया दे सकता है। ### आर्किटेक्चर की मुख्य बातें * **Gated Delta Networks (GDN)** लंबे ऑडियो/वीडियो स्ट्रीम्स पर subquadratic जटिलता के साथ कुशल sequence modeling के लिए * **Sparse Mixture-of-Experts** — कुल 30B params, प्रति token लगभग 3B active; 7–14B dense models के बराबर गुणवत्ता लेकिन पैमाने पर तेज * **एकीकृत टोकनाइज़र** जो पाठ, ऑडियो फ़्रेम, छवि पैच, और वीडियो फ़्रेम अनुक्रमों को कवर करता है * **अंतर्निहित TTS डिकोडर** — अलग pipeline के बजाय मूल रूप से speech waveforms उत्पन्न करता है 30 मार्च 2026 को जारी · लाइसेंस: **Apache 2.0** · [HuggingFace](https://huggingface.co/Qwen/Qwen3.5-Omni-7B) *** ## Qwen3.5-Omni बनाम संबंधित मॉडल | मॉडल | पैरामीटर | इनपुट मॉडैलिटीज़ | स्पीच आउट | लाइसेंस | VRAM (INT4) | | ------------------ | ------------------- | ----------------------- | --------- | ------------- | ----------- | | **Qwen3.5-Omni** | 30B MoE (3B सक्रिय) | पाठ, ऑडियो, छवि, वीडियो | ✅ | Apache 2.0 | \~15 GB | | Qwen3.5 (केवल पाठ) | 32B | केवल पाठ | ❌ | Apache 2.0 | \~18 GB | | Qwen2.5-VL | 72B | पाठ, छवि, वीडियो | ❌ | Apache 2.0 | \~40 GB | | Gemini 2.0 Flash | — | पाठ, ऑडियो, छवि, वीडियो | ✅ | स्वामित्वाधीन | केवल API | की तुलना में **Qwen3.5 (केवल पाठ)**, Omni संस्करण ऑडियो/वीडियो समझ और वाक् उत्पादन जोड़ता है, जबकि वास्तव में *कम* VRAM at INT4 की आवश्यकता होती है, MoE आर्किटेक्चर की बदौलत। इसकी तुलना में **Qwen2.5-VL**, यह ऑडियो I/O जोड़ता है लेकिन बहुत कम हार्डवेयर की आवश्यकता होती है। *** ## हार्डवेयर आवश्यकताएँ | सटीकता | आवश्यक VRAM | अनुशंसित GPU | | ------------ | ----------- | ------------------------ | | BF16 (पूर्ण) | 64–80 GB | A100 80GB, H100 | | BF16 बहु-GPU | 2× 40 GB | 2× A40 / 2× A6000 | | INT4 / GGUF | \~15 GB | RTX 4090 (24 GB) ✅ | | INT8 | \~30 GB | A6000 48GB, RTX 6000 Ada | अधिकांश स्व-होस्टेड उपयोग मामलों के लिए, **RTX 4090 पर INT4** सबसे अच्छा विकल्प है: Clore.ai पर $0.14–0.42/घंटा में पूर्ण मल्टीमॉडल क्षमता। *** ## Clore.ai पर त्वरित शुरुआत ### चरण 1: GPU किराए पर लें पर जाएँ [clore.ai/marketplace](https://clore.ai/marketplace) और किराए पर लें: * **INT4 / एकल-GPU**: RTX 4090 (24 GB) — से **$0.14–0.42/hr** * **BF16 / पूर्ण सटीकता**: A100 80GB या H100 — से **\~$1.04/घंटा** का उपयोग करें **vllm/vllm-openai** Docker image या मानक CUDA image. ### चरण 2: vLLM के साथ डिप्लॉय करें (अनुशंसित) Qwen3.5-Omni समर्थन के लिए vLLM v0.17.0+ आवश्यक है। ```bash # vLLM OpenAI-संगत server को pull और run करें docker run --gpus all --rm -it \\ -p 8000:8000 \ -v /workspace/models:/root/.cache/huggingface \\ vllm/vllm-openai:v0.17.0 \\ --model Qwen/Qwen3.5-Omni-7B \\ --quantization awq_marlin \\ --max-model-len 32768 \\ --trust-remote-code ``` > **ध्यान दें:** यह `awq_marlin` flag के लिए pre-quantized AWQ model चाहिए। डाउनलोड करें `Qwen/Qwen3.5-Omni-7B-AWQ` base model के बजाय, या `--quantization` को A100/H100 पर BF16 के लिए छोड़ दें। एक बार server चलने लगे, यह पर एक OpenAI-संगत API उपलब्ध कराता है `http://localhost:8000/v1`. ### चरण 3: Ollama के साथ डिप्लॉय करें (सरल सेटअप) Docker की जटिलता के बिना त्वरित प्रयोग के लिए: ```bash # Ollama इंस्टॉल करें curl -fsSL https://ollama.ai/install.sh | sh # Qwen3.5-Omni (quantized) को pull करें # नोट: उपलब्धता के लिए https://ollama.com/library देखें — tag बदल सकता है ollama pull qwen3.5-omni # server शुरू करें ollama serve ``` Ollama quantization को स्वचालित रूप से संभालता है और एक सरल `/api/generate` endpoint प्रदान करता है। *** ## उदाहरण API कॉल्स ### मल्टीमॉडल इनपुट: छवि + पाठ ```python import openai import base64 client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none") # एक छवि लोड करें with open("screenshot.png", "rb") as f: image_b64 = base64.b64encode(f.read()).decode() response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_b64}"} }, { "type": "text", "text": "इस छवि में आप जो देखते हैं उसका वर्णन करें और किसी भी पाठ की पहचान करें." } ] } ], max_tokens=512 ) print(response.choices[0].message.content) ``` ### ऑडियो लिप्यंतरण + समझ ```python import openai import base64 client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none") with open("meeting_recording.wav", "rb") as f: audio_b64 = base64.b64encode(f.read()).decode() response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio_b64}"} }, { "type": "text", "text": "इस ऑडियो का लिप्यंतरण करें और मुख्य बिंदुओं का सारांश दें." } ] } ] ) print(response.choices[0].message.content) ``` ### वीडियो समझ ```python # वीडियो फ़्रेम्स को छवि URL की एक श्रृंखला के रूप में भेजा जा सकता है # या Qwen3.5-Omni नेटिव API का उपयोग करते समय video_url के रूप में response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "video_url", "video_url": {"url": "https://example.com/product-demo.mp4"} }, { "type": "text", "text": "इस वीडियो में क्या हो रहा है? प्रत्येक दृश्य का वर्णन करें." } ] } ] ) ``` *** ## BF16 के लिए बहु-GPU सेटअप यदि आप Clore.ai पर बहु-GPU मशीन किराए पर लेते हैं (जैसे, 2× A40 या 2× A6000), तो tensor parallelism का उपयोग करें: ```bash docker run --gpus all --rm -it \\ -p 8000:8000 \ -v /workspace/models:/root/.cache/huggingface \\ vllm/vllm-openai:v0.17.0 \\ --model Qwen/Qwen3.5-Omni-7B \\ --tensor-parallel-size 2 \\ --dtype bfloat16 \ --max-model-len 65536 \\ --trust-remote-code ``` यह अधिकतम throughput और गुणवत्ता के लिए मॉडल को दोनों GPUs में विभाजित करता है। *** ## उपयोग के मामले ### 1. ग्राहक सेवा स्वचालन Qwen3.5-Omni ग्राहक वॉइस कॉल्स को सुन सकता है, उन्हें real-time में लिप्यंतरित कर सकता है, समस्या को समझ सकता है, और एक पाठ सारांश तथा एक वाचिक प्रतिक्रिया दोनों उत्पन्न कर सकता है। सब कुछ एक ही मॉडल में, अलग-अलग ASR + LLM + TTS pipelines को जोड़ने की ज़रूरत नहीं। ### 2. वीडियो सामग्री समझ उत्पाद डेमो वीडियो, व्याख्यान रिकॉर्डिंग, या निगरानी फुटेज अपलोड करें और विस्तृत पाठ विवरण, समय-मुद्रित सारांश, या Q\&A प्राप्त करें। मॉडल 32K tokens तक का संदर्भ संभालता है, जिसमें कई मिनट लंबे वीडियो शामिल हैं। ### 3. रियल-टाइम वॉइस एजेंट्स ऐसे संवादात्मक वॉइस असिस्टेंट बनाएं जो ऑडियो टर्न्स के दौरान संदर्भ को समझें। Qwen3.5-Omni संवादात्मक स्मृति बनाए रखता है और अपने पाठ-आधारित तर्क को speech generation के साथ बारी-बारी से जोड़ सकता है — फोन-आधारित ग्राहक सहायता बॉट्स के लिए आदर्श। ### 4. दस्तावेज़ + स्क्रीनशॉट विश्लेषण OCR, layout समझ, chart व्याख्या — डैशबोर्ड, PDF, या हस्तलिखित नोट्स के स्क्रीनशॉट डालें और संरचित पाठ आउटपुट या विस्तृत विश्लेषण प्राप्त करें। ### 5. बहुभाषी ऑडियो प्रोसेसिंग मॉडल पाठ और speech दोनों के लिए 29 भाषाओं का समर्थन करता है, जिससे यह अंतरराष्ट्रीय ग्राहक सहायता, बहुभाषी लिप्यंतरण pipelines, और cross-lingual वीडियो विश्लेषण के लिए उपयुक्त है। *** ## Clore.ai पर लागत अनुमान | GPU | सटीकता | VRAM | मूल्य/दिन | किसके लिए सर्वोत्तम | | ------------ | -------------------- | ------- | --------- | -------------------------------------- | | RTX 4090 | INT4 | 24 GB | \~$0.50 | विकास, परीक्षण, छोटे पैमाने का उत्पादन | | RTX 6000 Ada | INT8 | 48 GB | \~$1.20 | बेहतर गुणवत्ता, मध्यम throughput | | A100 80GB | BF16 | 80 GB | \~$2.50 | पूर्ण गुणवत्ता, उच्च throughput | | 2× A40 | BF16 tensor parallel | 2×48 GB | \~$2.00 | पूर्ण गुणवत्ता, लागत-कुशल | RTX 4090 पर INT4 में Qwen3.5-Omni चलाना, बड़े पैमाने पर एक जटिल मल्टीमॉडल कार्य के लिए एक अकेली OpenAI API कॉल की तुलना में प्रति दिन कम खर्चीला है। *** ## टिप्स और समस्या निवारण **"RTX 4090 पर CUDA मेमोरी समाप्त"** * जोड़ें `--gpu-memory-utilization 0.90` को vLLM कमांड में * कम करें `--max-model-len` छोटे इनपुट प्रोसेस करते समय 16384 तक **ऑडियो इनपुट काम नहीं कर रहा** * सुनिश्चित करें कि vLLM संस्करण बिल्कुल `v0.17.0` या नया है — पुराने संस्करणों में Omni audio support नहीं है * बेहतरीन परिणामों के लिए WAV फ़ाइलें 16kHz mono होनी चाहिए; उपयोग करें `ffmpeg -ar 16000 -ac 1` में बदलने के लिए **धीमा पहला inference** * vLLM पहली रन पर CUDA kernels संकलित करता है; warmup में 2–5 मिनट लगते हैं। बाद की कॉल्स तेज होती हैं। **Ollama वीडियो इनपुट को पहचान नहीं रहा** * Ollama वर्तमान में केवल image+text और audio का समर्थन करता है; वीडियो समझ के लिए vLLM डिप्लॉयमेंट का उपयोग करें। *** ## सारांश Qwen3.5-Omni सच्चे एंड-टू-एंड मल्टीमॉडल AI को लाता है — इनपुट में पाठ, ऑडियो, छवि, और वीडियो; आउटपुट में पाठ और वाक् — एक ऐसे एकल open-source मॉडल में जो consumer hardware पर चलता है। INT4 पर, यह 24 GB RTX 4090 में फिट हो जाता है और Clore.ai पर प्रतिदिन एक डॉलर से भी कम खर्च आता है। Apache 2.0 लाइसेंसिंग और vLLM के माध्यम से OpenAI-संगत API के साथ, यह सीधे मौजूदा pipelines में शामिल हो जाता है। **→** [**Clore.ai पर RTX 4090 किराए पर लें**](https://clore.ai/marketplace) और आज ही Qwen3.5-Omni डिप्लॉय करें। --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen35-omni.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.