Qwen3.5-Omni (мультимодальная)

Alibaba Qwen3.5-Omni — это унифицированная сквозная мультимодальная модель, выпущенная 30 марта 2026 года под лицензией Apache 2.0. Она может одновременно понимать и рассуждать по тексту, аудио, изображениям и видео — и генерировать в качестве вывода как текст, так и речь. Запуск её на арендованном GPU Clore.ai даёт вам мультимодального ассистента промышленного уровня за долю стоимости облачных API.

---

Что такое Qwen3.5-Omni?

Qwen3.5-Omni — это сквозная мультимодальная модель построенная на разреженной архитектуре Mixture-of-Experts. Релиз на HuggingFace (Qwen3.5-Omni-7B) использует соглашение Alibaba об именовании, где «7B» относится к конфигурации активных параметров на каждом шаге инференса; полный чекпойнт включает все веса экспертов. Именно эта разреженность делает её пригодной для развёртывания на одной RTX 4090 (24 ГБ) с использованием квантизации INT4 — модель, которая при полной точности иначе потребовала бы гораздо больше VRAM.

Ключевые возможности

Модальность	Вход	Вывод
Текст	✅	✅
Аудио	✅ (транскрибация, понимание)	✅ (синтез речи)
Образ	✅ (понимание, OCR, анализ)	—
Видео	✅ (понимание сцены, ответы на вопросы)	—

В отличие от предыдущих мультимодальных моделей, которые склеивают отдельные энкодеры, Qwen3.5-Omni обрабатывает все модальности за один унифицированный прямой проход. Она может одновременно транскрибировать речь из аудио, анализировать кадр видео и отвечать как текстом, так и синтезированным голосом — за один вызов инференса.

Основные особенности архитектуры

• Gated Delta Networks (GDN) для эффективного моделирования последовательностей с субквадратичной сложностью на длинных аудио-/видеопотоках

• Разреженная Mixture-of-Experts — 30 млрд суммарных параметров, ~3 млрд активных на токен; качество сопоставимо с плотными моделями 7–14B, но на масштабе работает быстрее

• Единый токенизатор охватывающий текст, аудиокадры, фрагменты изображений и последовательности кадров видео

• Встроенный TTS-декодер — нативно генерирует речевые волны, а не через отдельный пайплайн

Выпущено 30 марта 2026 · Лицензия: Apache 2.0 · HuggingFace

---

Qwen3.5-Omni и связанные модели

Модель	Параметры	Входные модальности	Выход речи	Лицензия	VRAM (INT4)
Qwen3.5-Omni	30B MoE (3B активных)	Текст, Аудио, Изображение, Видео	✅	Apache 2.0	~15 ГБ
Qwen3.5 (только текст)	32B	Только текст	❌	Apache 2.0	~18 ГБ
Qwen2.5-VL	72B	Текст, Изображение, Видео	❌	Apache 2.0	~40 ГБ
Gemini 2.0 Flash	—	Текст, Аудио, Изображение, Видео	✅	Закрытый	Только через API

По сравнению с Qwen3.5 (только текст), вариант Omni добавляет понимание аудио/видео и генерацию речи, при этом фактически требуя меньше VRAM на INT4 благодаря архитектуре MoE. По сравнению с Qwen2.5-VL, он добавляет ввод/вывод аудио, но требует значительно меньше аппаратных ресурсов.

---

Требования к оборудованию

Точность	Требуемая VRAM	Рекомендуемый GPU
BF16 (полная)	64–80 ГБ	A100 80GB, H100
BF16 на нескольких GPU	2× 40 ГБ	2× A40 / 2× A6000
INT4 / GGUF	~15 ГБ	RTX 4090 (24 ГБ) ✅
INT8	~30 ГБ	A6000 48 ГБ, RTX 6000 Ada

Для большинства сценариев self-hosted, INT4 на RTX 4090 — это оптимальный вариант: полная мультимодальная функциональность за $0.14–0.42/час на Clore.ai.

---

Быстрый старт на Clore.ai

Шаг 1: Арендуйте GPU

Перейдите на clore.ai/marketplace и арендуйте:

• INT4 / одна GPU: RTX 4090 (24 ГБ) — от $0.14–0.42/ч

• BF16 / полная точность: A100 80GB или H100 — от ~$1.04/ч

Используйте vllm/vllm-openai образ Docker или стандартный образ CUDA.

Шаг 2: Разверните с vLLM (рекомендуется)

Для поддержки Qwen3.5-Omni требуется vLLM v0.17.0+.

# Скачайте и запустите OpenAI-совместимый сервер vLLM
docker run --gpus all --rm -it \\
  -p 8000:8000 \\
  -v /workspace/models:/root/.cache/huggingface \\
  vllm/vllm-openai:v0.17.0 \\
  --model Qwen/Qwen3.5-Omni-7B \\
  --quantization awq_marlin \\
  --max-model-len 32768 \
  --trust-remote-code

Примечание: Параметр awq_marlin флаг требует предварительно квантизованную модель AWQ. Скачайте Qwen/Qwen3.5-Omni-7B-AWQ вместо базовой модели, или опустите --quantization для BF16 на A100/H100.

После запуска сервера он предоставляет OpenAI-совместимый API по адресу http://localhost:8000/v1.

Шаг 3: Разверните с Ollama (более простая настройка)

Для быстрой проверки без сложности Docker:

# Установите Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Скачайте Qwen3.5-Omni (квантизованную)
# Примечание: проверьте https://ollama.com/library на наличие — тег может отличаться
ollama pull qwen3.5-omni

# Запустите сервер
ollama serve

Ollama автоматически обрабатывает квантизацию и предоставляет простой /api/generate эндпоинт.

---

Примеры вызовов API

Мультимодальный ввод: изображение + текст

import openai
import base64

client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none")

# Загрузите изображение
with open("screenshot.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/png;base64,{image_b64}"}
                },
                {
                    "type": "text",
                    "text": "Опишите, что вы видите на этом изображении, и распознайте любой текст."
                }
            ]
        }
    ],
    max_tokens=512
)
print(response.choices[0].message.content)

Транскрибация и понимание аудио

import openai
import base64

client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="none")

with open("meeting_recording.wav", "rb") as f:
    audio_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "audio_url",
                    "audio_url": {"url": f"data:audio/wav;base64,{audio_b64}"}
                },
                {
                    "type": "text",
                    "text": "Расшифруйте это аудио и кратко изложите ключевые моменты."
                }
            ]
        }
    ]
)
print(response.choices[0].message.content)

Понимание видео

# Кадры видео можно передавать как последовательность URL изображений
# или как video_url при использовании нативного API Qwen3.5-Omni
response = client.chat.completions.create(
    model="Qwen/Qwen3.5-Omni-7B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {"url": "https://example.com/product-demo.mp4"}
                },
                {
                    "type": "text",
                    "text": "Что происходит в этом видео? Опишите каждую сцену."
                }
            ]
        }
    ]
)

---

Настройка нескольких GPU для BF16

Если вы арендуете многопроцессорную машину с несколькими GPU на Clore.ai (например, 2× A40 или 2× A6000), используйте тензорный параллелизм:

docker run --gpus all --rm -it \\
  -p 8000:8000 \\
  -v /workspace/models:/root/.cache/huggingface \\
  vllm/vllm-openai:v0.17.0 \\
  --model Qwen/Qwen3.5-Omni-7B \\
  --tensor-parallel-size 2 \
  --dtype bfloat16 \\
  --max-model-len 65536 \\
  --trust-remote-code

Это распределяет модель между обеими GPU для максимальной пропускной способности и качества.

---

Сценарии использования

1. Автоматизация обслуживания клиентов

Qwen3.5-Omni может слушать голосовые звонки клиентов, транскрибировать их в реальном времени, понимать проблему и генерировать как текстовое резюме, так и устный ответ. Всё в одной модели, без склеивания отдельных ASR + LLM + TTS пайплайнов.

2. Понимание видеоконтента

Загружайте демонстрационные видео продуктов, записи лекций или кадры наблюдения и получайте подробные текстовые описания, сводки с временными метками или ответы на вопросы. Модель обрабатывает контекст до 32K токенов, охватывая видео длительностью в несколько минут.

3. Голосовые агенты в реальном времени

Создавайте разговорных голосовых ассистентов, которые понимают контекст между аудиорепликами. Qwen3.5-Omni сохраняет память диалога и может чередовать текстовое рассуждение с генерацией речи — идеально для ботов поддержки клиентов по телефону.

4. Анализ документов + скриншотов

OCR, понимание макета, интерпретация графиков — передавайте скриншоты панелей, PDF-файлов или рукописных заметок и получайте структурированный текстовый вывод или подробный анализ.

5. Многоязычная обработка аудио

Модель поддерживает 29 языков как для текста, так и для речи, что делает её подходящей для международной поддержки клиентов, многоязычных пайплайнов транскрибации и межъязыкового анализа видео.

---

Оценка стоимости на Clore.ai

GPU	Точность	VRAM	Цена/день	Лучше всего для
RTX 4090	INT4	24 ГБ	~$0.50	Разработка, тестирование, небольшое производство
RTX 6000 Ada	INT8	48 ГБ	~$1.20	Лучшее качество, умеренная пропускная способность
A100 80 ГБ	BF16	80 ГБ	~$2.50	Полное качество, высокая пропускная способность
2× A40	BF16 тензорный параллелизм	2×48 ГБ	~$2.00	Полное качество, экономично

Запуск Qwen3.5-Omni в INT4 на RTX 4090 обходится дешевле в день, чем один вызов OpenAI API для сложной мультимодальной задачи в масштабе.

---

Советы и устранение неполадок

"CUDA out of memory" на RTX 4090

• Добавьте --gpu-memory-utilization 0.90 к команде vLLM

• Уменьшите --max-model-len до 16384, если обрабатываете короткие входные данные

Аудиовход не работает

• Убедитесь, что версия vLLM точно v0.17.0 или новее — более ранние версии не поддерживают аудио Omni

• WAV-файлы должны быть моно 16 кГц для лучших результатов; используйте ffmpeg -ar 16000 -ac 1 для преобразования

Медленный первый инференс

• vLLM компилирует CUDA-ядра при первом запуске; прогрев занимает 2–5 минут. Последующие вызовы быстрые.

Ollama не распознаёт видеоввод

• В настоящее время Ollama поддерживает только image+text и аудио; для понимания видео используйте развёртывание vLLM.

---

Итог

Qwen3.5-Omni приносит настоящее end-to-end мультимодальное ИИ — текст, аудио, изображение и видео на входе, текст и речь на выходе — в одну open-source модель, которая работает на потребительском оборудовании. В INT4 она помещается в 24 ГБ RTX 4090 и стоит менее доллара в день на Clore.ai. Благодаря лицензии Apache 2.0 и OpenAI-совместимому API через vLLM она напрямую встраивается в существующие пайплайны.

→ Арендуйте RTX 4090 на Clore.ai и разверните Qwen3.5-Omni уже сегодня.