Qwen3.5-Omni (multimodal)

d'Alibaba Qwen3.5-Omni est un modèle multimodal unifié de bout en bout publié le 30 mars 2026 sous licence Apache 2.0. Il peut comprendre et raisonner simultanément à travers le texte, l'audio, les images et la vidéo — et générer à la fois du texte et de la parole en sortie. Le faire tourner sur un GPU Clore.ai loué vous donne un assistant multimodal de niveau production pour une fraction du coût des API cloud.

---

Qu'est-ce que Qwen3.5-Omni ?

Qwen3.5-Omni est un modèle multimodal de bout en bout construit sur une architecture clairesemée de mélange d'experts. La version Hugging Face (Qwen3.5-Omni-7B) utilise la convention de nommage d'Alibaba où « 7B » désigne la configuration de paramètres actifs par étape d'inférence ; le point de contrôle complet inclut tous les poids des experts. C'est cette parcimonie qui le rend déployable sur une seule RTX 4090 (24 Go) grâce à la quantification INT4 — un modèle qui nécessiterait autrement beaucoup plus de VRAM en pleine précision.

Principales capacités

Modalité	Entrée	Sortie
Texte	✅	✅
Audio	✅ (transcription, compréhension)	✅ (synthèse vocale)
Image	✅ (compréhension, OCR, analyse)	—
Vidéo	✅ (compréhension des scènes, questions-réponses)	—

Contrairement aux précédents modèles multimodaux qui assemblent des encodeurs séparés, Qwen3.5-Omni traite toutes les modalités en une seule passe avant unifiée. Il peut simultanément transcrire de l'audio parlé, analyser une image vidéo et répondre à la fois par du texte et une voix synthétisée — en un seul appel d'inférence.

Points forts de l'architecture

• Réseaux Delta à portes (GDN) pour une modélisation efficace des séquences avec une complexité sous-quadratique sur les longs flux audio/vidéo

• Mélange clairsemé d'experts — 30B paramètres au total, ~3B actifs par jeton ; qualité comparable aux modèles denses 7–14B mais plus rapide à grande échelle

• Tokeniseur unifié couvrant le texte, les trames audio, les patchs d'image et les séquences d'images vidéo

• Décodeur TTS intégré — génère nativement des formes d'onde de parole plutôt que via un pipeline séparé

Publié le 30 mars 2026 · Licence : Apache 2.0 · HuggingFace

---

Qwen3.5-Omni vs. modèles associés

Modèle	Paramètres	Modalités en entrée	Sortie vocale	Licence	VRAM (INT4)
Qwen3.5-Omni	30B MoE (3B actifs)	Texte, audio, image, vidéo	✅	Apache 2.0	~15 Go
Qwen3.5 (texte uniquement)	32B	Texte uniquement	❌	Apache 2.0	~18 Go
Qwen2.5-VL	72B	Texte, image, vidéo	❌	Apache 2.0	~40 Go
Gemini 2.0 Flash	—	Texte, audio, image, vidéo	✅	Propriétaire	API uniquement

Comparé à Qwen3.5 (texte uniquement), la variante Omni ajoute la compréhension audio/vidéo et la génération vocale tout en nécessitant en réalité moins de VRAM en INT4 grâce à l'architecture MoE. Comparé à Qwen2.5-VL, il ajoute l'entrée/sortie audio mais nécessite beaucoup moins de matériel.

---

Configuration matérielle requise

Précision	VRAM requise	GPU recommandé
BF16 (complet)	64–80 Go	A100 80 Go, H100
BF16 multi-GPU	2× 40 Go	2× A40 / 2× A6000
INT4 / GGUF	~15 Go	RTX 4090 (24 Go) ✅
INT8	~30 Go	A6000 48 Go, RTX 6000 Ada

Pour la plupart des cas d'utilisation auto-hébergés, l'INT4 sur une RTX 4090 est le meilleur compromis : toutes les capacités multimodales pour 0,14–0,42 $/h sur Clore.ai.

---

Démarrage rapide sur Clore.ai

Étape 1 : Louez un GPU

Accédez à clore.ai/marketplace et louez :

• INT4 / GPU unique: RTX 4090 (24 Go) — à partir de 0,14–0,42 $/h

• BF16 / pleine précision: A100 80 Go ou H100 — à partir de ~1,04 $/h

Utilisez le vllm/vllm-openai image Docker ou l'image CUDA standard.

Étape 2 : Déployez avec vLLM (recommandé)

vLLM v0.17.0+ est requis pour la prise en charge de Qwen3.5-Omni.

# Téléchargez et lancez le serveur vLLM compatible OpenAI
docker run --gpus all --rm -it \\
  -p 8000:8000 \
  -v /workspace/models:/root/.cache/huggingface \\
  vllm/vllm-openai:v0.17.0 \\
  --model Qwen/Qwen3.5-Omni-7B \\
  --quantization awq_marlin \\
  --max-model-len 32768 \
  --trust-remote-code

Remarque : Le awq_marlin l'option nécessite un modèle AWQ pré-quantifié. Téléchargez Qwen/Qwen3.5-Omni-7B-AWQ à la place du modèle de base, ou omettez --quantization pour BF16 sur A100/H100.

Une fois le serveur en cours d'exécution, il expose une API compatible OpenAI à http://localhost:8000/v1.

Étape 3 : Déployez avec Ollama (configuration plus simple)

Pour des essais rapides sans la complexité de Docker :

# Installer Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Téléchargez Qwen3.5-Omni (quantifié)
# Remarque : vérifiez https://ollama.com/library pour la disponibilité — le tag peut varier
ollama pull qwen3.5-omni

# Démarrez le serveur
ollama serve

Ollama gère la quantification automatiquement et fournit un simple /api/generate point de terminaison.

---

Exemples d'appels API

Entrée multimodale : image + texte

import openai
import base64

client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none")

# Chargez une image
with open("screenshot.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/png;base64,{image_b64}"}
                },
                {
                    "type": "text",
                    "text": "Décrivez ce que vous voyez dans cette image et identifiez tout texte."
                }
            ]
        }
    ],
    max_tokens=512
)
print(response.choices[0].message.content)

Transcription audio + compréhension

import openai
import base64

client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none")

with open("meeting_recording.wav", "rb") as f:
    audio_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "audio_url",
                    "audio_url": {"url": f"data:audio/wav;base64,{audio_b64}"}
                },
                {
                    "type": "text",
                    "text": "Transcrivez cet audio et résumez les points clés."
                }
            ]
        }
    ]
)
print(response.choices[0].message.content)

Compréhension vidéo

# Les images vidéo peuvent être transmises comme une séquence d'URL d'images
# ou comme video_url lors de l'utilisation de l'API native Qwen3.5-Omni
response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {"url": "https://example.com/product-demo.mp4"}
                },
                {
                    "type": "text",
                    "text": "Que se passe-t-il dans cette vidéo ? Décrivez chaque scène."
                }
            ]
        }
    ]
)

---

Configuration multi-GPU pour BF16

Si vous louez une machine multi-GPU sur Clore.ai (par ex. 2× A40 ou 2× A6000), utilisez le parallélisme tensoriel :

docker run --gpus all --rm -it \\
  -p 8000:8000 \
  -v /workspace/models:/root/.cache/huggingface \\
  vllm/vllm-openai:v0.17.0 \\
  --model Qwen/Qwen3.5-Omni-7B \\
  --tensor-parallel-size 2 \
  --dtype bfloat16 \\
  --max-model-len 65536 \\
  --trust-remote-code

Cela répartit le modèle sur les deux GPU pour un débit et une qualité maximum.

---

Cas d’usage

1. Automatisation du service client

Qwen3.5-Omni peut écouter les appels vocaux des clients, les transcrire en temps réel, comprendre le problème et générer à la fois un résumé textuel et une réponse vocale. Le tout dans un seul modèle, sans assembler des pipelines ASR + LLM + TTS séparés.

2. Compréhension du contenu vidéo

Téléversez des vidéos de démonstration de produits, des enregistrements de cours ou des images de surveillance et obtenez des descriptions textuelles détaillées, des résumés horodatés ou des questions-réponses. Le modèle gère jusqu'à 32K jetons de contexte, couvrant des vidéos de plusieurs minutes.

3. Agents vocaux en temps réel

Créez des assistants vocaux conversationnels qui comprennent le contexte à travers les tours audio. Qwen3.5-Omni conserve la mémoire conversationnelle et peut entremêler son raisonnement textuel avec la génération vocale — idéal pour les bots d'assistance client par téléphone.

4. Analyse de documents + captures d'écran

OCR, compréhension de la mise en page, interprétation de graphiques — transmettez des captures d'écran de tableaux de bord, des PDF ou des notes manuscrites et obtenez une sortie textuelle structurée ou une analyse détaillée.

5. Traitement audio multilingue

Le modèle prend en charge 29 langues pour le texte et la parole, ce qui le rend adapté à l'assistance client internationale, aux pipelines de transcription multilingues et à l'analyse vidéo interlingue.

---

Estimation des coûts sur Clore.ai

GPU	Précision	VRAM	Prix/jour	Idéal pour
RTX 4090	INT4	24 Go	~$0.50	Développement, tests, production à petite échelle
RTX 6000 Ada	INT8	48 Go	~$1.20	Meilleure qualité, débit modéré
A100 80 Go	BF16	80 Go	~$2.50	Qualité complète, débit élevé
2× A40	Parallélisme tensoriel BF16	2×48 Go	~$2.00	Qualité complète, économique

Faire tourner Qwen3.5-Omni en INT4 sur une RTX 4090 coûte moins par jour qu'un seul appel à l'API OpenAI pour une tâche multimodale complexe à grande échelle.

---

Conseils et dépannage

"CUDA out of memory" sur RTX 4090

• Ajoutez --gpu-memory-utilization 0.90 à la commande vLLM

• Réduisez --max-model-len à 16384 si vous traitez des entrées courtes

L'entrée audio ne fonctionne pas

• Assurez-vous que la version de vLLM est exactement v0.17.0 ou plus récente — les versions antérieures ne prennent pas en charge l'audio Omni

• Les fichiers WAV doivent être en mono 16 kHz pour de meilleurs résultats ; utilisez ffmpeg -ar 16000 -ac 1 pour convertir

Première inférence lente

• vLLM compile les noyaux CUDA au premier lancement ; le préchauffage prend 2 à 5 minutes. Les appels suivants sont rapides.

Ollama ne reconnaît pas l'entrée vidéo

• Ollama prend actuellement en charge uniquement image+texte et audio ; pour la compréhension vidéo, utilisez le déploiement vLLM.

---

Résumé

Qwen3.5-Omni apporte une véritable IA multimodale de bout en bout — texte, audio, image et vidéo en entrée, texte et parole en sortie — dans un seul modèle open source qui fonctionne sur du matériel grand public. En INT4, il tient dans une RTX 4090 de 24 Go et coûte moins d'un dollar par jour sur Clore.ai. Avec une licence Apache 2.0 et une API compatible OpenAI via vLLM, il s'intègre directement dans les pipelines existants.

→ Louez une RTX 4090 sur Clore.ai et déployez Qwen3.5-Omni dès aujourd'hui.