> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen35-omni.md). # Qwen3.5-Omni (मल्टीमोडल) अलीबाबा का **Qwen3.5-Omni** 30 मार्च, 2026 को Apache 2.0 लाइसेंस के तहत जारी किया गया एक एकीकृत एंड-टू-एंड मल्टीमॉडल मॉडल है। यह पाठ, ऑडियो, छवियों और वीडियो को एक साथ समझ और तर्क कर सकता है — और आउटपुट के रूप में पाठ तथा भाषण दोनों उत्पन्न कर सकता है। इसे किराये के Clore.ai GPU पर चलाने से आपको क्लाउड API लागत के एक अंश में प्रोडक्शन-ग्रेड मल्टीमॉडल असिस्टेंट मिलता है। *** ## Qwen3.5-Omni क्या है? Qwen3.5-Omni एक **एंड-टू-एंड मल्टीमॉडल मॉडल** है, जो एक sparse Mixture-of-Experts आर्किटेक्चर पर आधारित है। HuggingFace रिलीज़ (`Qwen3.5-Omni-7B`) में Alibaba की नामकरण परंपरा का उपयोग किया गया है, जहाँ "7B" प्रति inference step active-parameter configuration को दर्शाता है; full checkpoint में सभी expert weights शामिल हैं। यही sparsity इसे INT4 quantization का उपयोग करके एक ही RTX 4090 (24 GB) पर deploy करने योग्य बनाती है — ऐसा मॉडल जिसे full precision में कहीं अधिक VRAM की आवश्यकता होती। ### मुख्य क्षमताएँ | मोडैलिटी | इनपुट | आउटपुट | | -------- | ----------------------- | ------------------ | | पाठ | ✅ | ✅ | | ऑडियो | ✅ (ट्रांसक्रिप्शन, समझ) | ✅ (स्पीच सिंथेसिस) | | छवि | ✅ (समझ, OCR, विश्लेषण) | — | | वीडियो | ✅ (दृश्य समझ, QA) | — | पिछले मल्टीमॉडल मॉडलों के विपरीत, जो अलग-अलग encoders को जोड़ते हैं, Qwen3.5-Omni सभी modalities को एक ही unified forward pass में प्रोसेस करता है। यह एक ही inference call में बोले गए ऑडियो को एक साथ ट्रांसक्राइब कर सकता है, वीडियो फ्रेम का विश्लेषण कर सकता है, और पाठ तथा synthesized voice दोनों के साथ उत्तर दे सकता है। ### आर्किटेक्चर की मुख्य बातें * **Gated Delta Networks (GDN)** लंबे ऑडियो/वीडियो स्ट्रीम पर subquadratic complexity के साथ कुशल sequence modeling के लिए * **Sparse Mixture-of-Experts** — 30B कुल parameters, प्रति token लगभग 3B active; 7–14B dense models के बराबर गुणवत्ता, लेकिन scale पर तेज़ * **Unified tokenizer** जो text, audio frames, image patches, और video frame sequences को कवर करता है * **Built-in TTS decoder** — अलग pipeline के बजाय native रूप से speech waveforms उत्पन्न करता है 30 मार्च, 2026 को जारी · लाइसेंस: **Apache 2.0** · [HuggingFace](https://huggingface.co/Qwen/Qwen3.5-Omni-7B) *** ## Qwen3.5-Omni बनाम संबंधित मॉडल | मॉडल | पैरामीटर्स | इनमें मोडैलिटी | स्पीच आउट | लाइसेंस | VRAM (INT4) | | ------------------ | ------------------- | ----------------------- | --------- | ------------- | ----------- | | **Qwen3.5-Omni** | 30B MoE (3B active) | पाठ, ऑडियो, छवि, वीडियो | ✅ | Apache 2.0 | \~15 GB | | Qwen3.5 (केवल-पाठ) | 32B | केवल पाठ | ❌ | Apache 2.0 | \~18 GB | | Qwen2.5-VL | 72B | पाठ, छवि, वीडियो | ❌ | Apache 2.0 | \~40 GB | | Gemini 2.0 Flash | — | पाठ, ऑडियो, छवि, वीडियो | ✅ | स्वामित्वाधीन | केवल API | की तुलना में **Qwen3.5 (केवल-पाठ)**, Omni वेरिएंट ऑडियो/वीडियो समझ और speech generation जोड़ता है, जबकि MoE architecture की वजह से वास्तव में *कम* INT4 पर VRAM की आवश्यकता होती है। **Qwen2.5-VL**की तुलना में, यह ऑडियो I/O जोड़ता है लेकिन बहुत कम hardware की आवश्यकता होती है। *** ## हार्डवेयर आवश्यकताएँ | प्रिसिजन | आवश्यक VRAM | अनुशंसित GPU | | -------------- | ----------- | ------------------------ | | BF16 (पूर्ण) | 64–80 GB | A100 80GB, H100 | | BF16 multi-GPU | 2× 40 GB | 2× A40 / 2× A6000 | | INT4 / GGUF | \~15 GB | RTX 4090 (24 GB) ✅ | | INT8 | \~30 GB | A6000 48GB, RTX 6000 Ada | अधिकांश self-hosted उपयोग मामलों के लिए, **RTX 4090 पर INT4** सबसे अच्छा विकल्प है: Clore.ai पर $0.50–0.80/दिन में पूर्ण मल्टीमॉडल क्षमता। *** ## Clore.ai पर क्विक स्टार्ट ### चरण 1: GPU किराये पर लें पर जाएँ [clore.ai/marketplace](https://clore.ai/marketplace) और किराये पर लें: * **INT4 / Single-GPU**: RTX 4090 (24 GB) — से **\~$0.50/दिन** * **BF16 / Full Precision**: A100 80GB या H100 — से **\~$2.50/दिन** का उपयोग करें **vllm/vllm-openai** Docker image या standard CUDA image. ### चरण 2: vLLM के साथ Deploy करें (अनुशंसित) Qwen3.5-Omni सपोर्ट के लिए vLLM v0.17.0+ आवश्यक है। ```bash # vLLM OpenAI-compatible server को pull करके चलाएँ docker run --gpus all --rm -it \ -p 8000:8000 \ -v /workspace/models:/root/.cache/huggingface \ vllm/vllm-openai:v0.17.0 \ --model Qwen/Qwen3.5-Omni-7B \ --quantization awq_marlin \ --max-model-len 32768 \ --trust-remote-code ``` > **नोट:** ध्वज `awq_marlin` को pre-quantized AWQ model की आवश्यकता होती है। base model के बजाय `Qwen/Qwen3.5-Omni-7B-AWQ` डाउनलोड करें, या BF16 के लिए A100/H100 पर `--quantization` को छोड़ दें। सर्वर चलने के बाद, यह पर एक OpenAI-compatible API उपलब्ध कराता है `http://localhost:8000/v1`. ### चरण 3: Ollama के साथ Deploy करें (सरल सेटअप) Docker की जटिलता के बिना त्वरित प्रयोग के लिए: ```bash # Ollama इंस्टॉल करें curl -fsSL https://ollama.ai/install.sh | sh # Qwen3.5-Omni (quantized) pull करें # नोट: उपलब्धता के लिए https://ollama.com/library देखें — tag बदल सकता है ollama pull qwen3.5-omni # सर्वर शुरू करें ollama serve ``` Ollama quantization को स्वचालित रूप से संभालता है और एक सरल `/api/generate` endpoint प्रदान करता है। *** ## API कॉल्स के उदाहरण ### मल्टीमॉडल इनपुट: छवि + पाठ ```python import openai import base64 client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none") # एक छवि लोड करें with open("screenshot.png", "rb") as f: image_b64 = base64.b64encode(f.read()).decode() response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_b64}"} }, { "type": "text", "text": "इस छवि में जो दिखाई दे रहा है उसका वर्णन करें और कोई भी पाठ पहचानें." } ] } ], max_tokens=512 ) print(response.choices[0].message.content) ``` ### ऑडियो ट्रांसक्रिप्शन + समझ ```python import openai import base64 client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none") with open("meeting_recording.wav", "rb") as f: audio_b64 = base64.b64encode(f.read()).decode() response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio_b64}"} }, { "type": "text", "text": "इस ऑडियो को ट्रांसक्राइब करें और मुख्य बिंदुओं का सारांश दें." } ] } ] ) print(response.choices[0].message.content) ``` ### वीडियो समझ ```python # वीडियो फ्रेम्स को image URLs की एक sequence के रूप में भेजा जा सकता है # या Qwen3.5-Omni native API का उपयोग करते समय video_url के रूप में response = client.chat.completions.create( model="Qwen/Qwen3.5-Omni-7B", messages=[ { "role": "user", "content": [ { "type": "video_url", "video_url": {"url": "https://example.com/product-demo.mp4"} }, { "type": "text", "text": "इस वीडियो में क्या हो रहा है? हर दृश्य का वर्णन करें." } ] } ] ) ``` *** ## BF16 के लिए Multi-GPU सेटअप यदि आप Clore.ai पर multi-GPU मशीन किराये पर लेते हैं (उदा., 2× A40 या 2× A6000), तो tensor parallelism का उपयोग करें: ```bash docker run --gpus all --rm -it \ -p 8000:8000 \ -v /workspace/models:/root/.cache/huggingface \ vllm/vllm-openai:v0.17.0 \ --model Qwen/Qwen3.5-Omni-7B \ --tensor-parallel-size 2 \ --dtype bfloat16 \ --max-model-len 65536 \ --trust-remote-code ``` यह अधिकतम throughput और गुणवत्ता के लिए मॉडल को दोनों GPUs में विभाजित करता है। *** ## उपयोग के मामले ### 1. ग्राहक सेवा स्वचालन Qwen3.5-Omni ग्राहक वॉइस कॉल्स सुन सकता है, उन्हें real-time में ट्रांसक्राइब कर सकता है, समस्या को समझ सकता है, और text summary तथा spoken response दोनों उत्पन्न कर सकता है। सब कुछ एक ही मॉडल में, अलग-अलग ASR + LLM + TTS pipelines को जोड़ने की जरूरत नहीं। ### 2. वीडियो सामग्री समझ प्रोडक्ट डेमो वीडियो, lecture recordings, या surveillance footage अपलोड करें और विस्तृत text descriptions, timestamped summaries, या Q\&A प्राप्त करें। मॉडल 32K tokens तक के context को संभालता है, जिससे कई मिनट लंबे वीडियो कवर हो जाते हैं। ### 3. रियल-टाइम वॉइस एजेंट्स ऐसे conversational voice assistants बनाएं जो audio turns के बीच context समझें। Qwen3.5-Omni conversational memory बनाए रखता है और speech generation के साथ अपने text reasoning को interleave कर सकता है — फोन-आधारित customer support bots के लिए आदर्श। ### 4. दस्तावेज़ + स्क्रीनशॉट विश्लेषण OCR, layout understanding, chart interpretation — dashboards, PDFs, या handwritten notes के screenshots दें और structured text output या विस्तृत विश्लेषण प्राप्त करें। ### 5. बहुभाषी ऑडियो प्रोसेसिंग मॉडल पाठ और speech दोनों के लिए 29 भाषाओं का समर्थन करता है, जिससे यह अंतरराष्ट्रीय customer support, बहुभाषी transcription pipelines, और cross-lingual video analysis के लिए उपयुक्त है। *** ## Clore.ai पर लागत अनुमान | GPU | प्रिसिजन | VRAM | प्रति दिन कीमत | सबसे उपयुक्त | | ------------ | -------------------- | ------- | -------------- | -------------------------------------- | | RTX 4090 | INT4 | 24 GB | \~$0.50 | डेव, टेस्टिंग, छोटे-स्तर का production | | RTX 6000 Ada | INT8 | 48 GB | \~$1.20 | बेहतर गुणवत्ता, मध्यम throughput | | A100 80GB | BF16 | 80 GB | \~$2.50 | पूर्ण गुणवत्ता, उच्च throughput | | 2× A40 | BF16 tensor parallel | 2×48 GB | \~$2.00 | पूर्ण गुणवत्ता, लागत-कुशल | RTX 4090 पर INT4 में Qwen3.5-Omni चलाना, बड़े पैमाने पर किसी जटिल multimodal task के लिए एक ही OpenAI API call से प्रति दिन कम लागत में आता है। *** ## टिप्स और समस्या निवारण **RTX 4090 पर "CUDA out of memory"** * जोड़ें `--gpu-memory-utilization 0.90` vLLM कमांड में * कम करें `--max-model-len` अगर छोटे inputs प्रोसेस कर रहे हों तो 16384 तक **ऑडियो इनपुट काम नहीं कर रहा** * सुनिश्चित करें कि vLLM version बिल्कुल `v0.17.0` या उससे नया हो — पुराने versions में Omni audio support नहीं है * सर्वोत्तम परिणामों के लिए WAV files 16kHz mono होनी चाहिए; उपयोग करें `ffmpeg -ar 16000 -ac 1` में बदलने के लिए **पहली inference धीमी है** * vLLM पहली बार चलने पर CUDA kernels compile करता है; warmup में 2–5 मिनट लगते हैं। उसके बाद की calls तेज़ होती हैं। **Ollama वीडियो इनपुट पहचान नहीं रहा** * Ollama वर्तमान में केवल image+text और audio का समर्थन करता है; वीडियो समझ के लिए vLLM deployment का उपयोग करें। *** ## सारांश Qwen3.5-Omni सच्चा एंड-टू-एंड मल्टीमॉडल AI लाता है — इनपुट में text, audio, image, और video; आउटपुट में text और speech — एक ऐसे open-source model में जो consumer hardware पर चलता है। INT4 पर, यह 24 GB RTX 4090 में फिट हो जाता है और Clore.ai पर एक दिन में एक डॉलर से कम खर्च करता है। Apache 2.0 licensing और vLLM के माध्यम से OpenAI-compatible API के साथ, यह मौजूदा pipelines में सीधे फिट हो जाता है। **→** [**Clore.ai पर RTX 4090 किराये पर लें**](https://clore.ai/marketplace) और आज ही Qwen3.5-Omni deploy करें। --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen35-omni.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.