Qwen3.8-27B (плотная VLM, одна карта)

Разверните Qwen3.8-27B на Clore.ai — плотную 27B зрительно-языковую модель Alibaba, которая работает на одной RTX 4090 в Q4 и на одной RTX 5090 в FP8

Статус (август 2026): Qwen выпустила Qwen3.8-27B в 14 августа 2026 г. под Apache 2.0, а официальный FP8-чекпойнт — на следующий день. Веса: Qwen/Qwen3.8-27B и Qwen/Qwen3.8-27B-FP8. Плотная 27B, нативная зрительно-языковая, контекст на 262 144 токена расширяемый до 1 млн с YaRN, поддержка с первого дня в vLLM, SGLang и llama.cpp.

Большая часть того, что вышло этим летом, не подлежит аренде. GLM-5.2 занимает 756 ГБ в FP8. MiniMax M3 — 854 ГБ. Kimi K3 — 1,5 ТБ и не помещается ни на одну машину, перечисленную на Clore.ai, ни при какой квантизации. Qwen3.8-27B — это противовес: 27 млрд плотных параметров, 15,4 ГБ на Q4, одна карта, один контейнер — и готово. Это именно та модель, под которую этот маркетплейс и создавался — в последнем снимке было 677 серверов со свободной картой на 24 ГБ или лучше.

Это также не урезанная модель. Она нативно работает с изображениями и видео, предоставляет reasoning_effort регулятор, а её гибридный стек внимания делает KV-кэш достаточно маленьким, чтобы длинный контекст на потребительской карте был реалистичным, а не теоретическим.

Ключевые характеристики

Параметр

Значение

Параметры

27B (плотная)

Архитектура

64 слоя, гибридный Gated DeltaNet + Gated Attention, MTP

Модальность

Текст, изображение, видео на вход → текст на выход

Нативный контекст

262 144 токена

Расширенный контекст

1 000 000 токенов (YaRN)

Лицензия

Apache 2.0

Дата выпуска

14 августа 2026 г.

Веса

BF16 55.6GB · FP8 30.9GB · Q4_K_S GGUF 15.4GB

Основные инструменты

vLLM, SGLang, llama.cpp, Ollama

Почему именно эта

Она помещается. Q4 на одной RTX 3090 или 4090 по $0.07–0.42/ч; FP8 на RTX PRO 6000 или 2× карты по 24 ГБ
Apache 2.0 — коммерческое использование, дообучение и перераспространение без оговорки о выручке, в отличие от Kimi K3 (кастомная лицензия с порогом по выручке) или MiniMax M3 (community-лицензия)
Гибридное внимание — 3 из каждых 4 блоков слоёв — это Gated DeltaNet (линейное внимание), поэтому KV-кэш растёт гораздо медленнее с ростом контекста, чем в стандартном трансформере. Именно это делает контекст 100K+ пригодным для использования на 24 ГБ
Визуальная составляющая встроена — диаграммы, документы, скриншоты и видео длительностью до часа, без отдельного VLM для развёртывания
Управление размышлением — reasoning_effort на низкий / средняя / xhigh, плюс preserve_thinking чтобы переносить рассуждение между ходами для агентов

Требования

Вся суть в одной карте. Одна RTX 4090 на Q4 даёт вам мультимодальную модель уровня frontier примерно по цене чашки кофе в день. Переходить на RTX 5090 или RTX PRO 6000 стоит только если вам нужна качество FP8 или очень длинный контекст.

Q4_K_S GGUF

Q8 / FP8

BF16

Веса

15.4GB

~31GB

55.6GB

GPU

1× RTX 3090/4090 24 ГБ

1× RTX PRO 6000 96 ГБ, или 2× RTX 5090

2× RTX PRO 6000, или 4× RTX 5090

Практический контекст

~64K

~200K

полные 262K

Системная RAM

32GB

64GB

96 ГБ

Диск

25 ГБ

45GB

80 ГБ

CUDA

12.8+

Одной RTX 5090 (32 ГБ) недостаточно для FP8. Сами веса занимают 30,9 ГБ. Нужен запас для KV-кэша и активаций, поэтому для FP8 нужна либо карта на 96 ГБ, либо две GPU. На одной 5090 запускайте Q6 или Q4 — см. Совместимость CUDA и PyTorch правильный базовый образ для Blackwell.

Вариант A — Ollama (самый быстрый путь)

ollama pull qwen3.8:27b
ollama run qwen3.8:27b

# OpenAI-совместимая конечная точка
ollama serve &
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \\
  -d '{
    "model": "qwen3.8:27b",
    "messages": [{"role": "user", "content": "Refactor this handler to use context.Context and add retries."}],
    "temperature": 0.7
  }'

Тег по умолчанию — Q4_K_M (~16GB). Используйте qwen3.8:27b-q8_0 если вы арендовали карту на 96 ГБ.

Вариант B — vLLM (продакшн)

Одна карта 24 ГБ, общественный чекпойнт INT4 AWQ:

# docker-compose.yml
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports: ["8000:8000"]
    volumes: [hf_cache:/root/.cache/huggingface]
    command: >
      --model cyankiwi/Qwen3.8-27B-AWQ-INT4
      --max-model-len 65536
      --gpu-memory-utilization 0.92
      --served-model-name qwen3.8-27b
      --enable-auto-tool-choice
      --tool-call-parser hermes
    deploy:
      resources:
        reservations:
          devices: [{driver: nvidia, count: 1, capabilities: [gpu]}]
    shm_size: "8gb"
volumes:
  hf_cache:

Официально Qwen поставляет только BF16 и FP8. 4-битные чекпойнты — это сборки сообщества — cyankiwi/Qwen3.8-27B-AWQ-INT4 и RedHatAI/Qwen3.8-27B-INT4 — самые загружаемые, а unsloth/Qwen3.8-27B-NVFP4 нацелен именно на карты Blackwell.

FP8 на двух GPU:

vllm serve Qwen/Qwen3.8-27B-FP8 \\
  --tensor-parallel-size 2 \
  --max-model-len 262144 \\
  --gpu-memory-utilization 0.90 \
  --enable-chunked-prefill

Для видео нужен один дополнительный флаг:

vllm serve Qwen/Qwen3.8-27B --media-io-kwargs '{"video": {"num_frames": -1}}'

Преодолейте нативное окно с YaRN:

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve Qwen/Qwen3.8-27B \\
  --hf-overrides '{"text_config": {"rope_parameters": {"rope_type": "yarn", "factor": 4.0, "original_max_position_embeddings": 262144}}}' \\
  --max-model-len 1000000

Вариант C — llama.cpp / GGUF (карты 24 ГБ)

# Q4_K_S — 15,4 ГБ, комфортно на карте 24 ГБ
huggingface-cli download unsloth/Qwen3.8-27B-GGUF \\
  --include "*UD-Q4_K_S*" --local-dir /workspace/qwen38

llama-server -m /workspace/qwen38/*UD-Q4_K_S*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 -c 65536 --flash-attn

Меньшие кванты из того же репозитория, для более тесных карт: UD-Q3_K_XL 13.1GB, UD-Q2_K_XL 9.8GB, UD-IQ2_S 8.4GB.

Усилие на рассуждение

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

resp = client.chat.completions.create(
    model="qwen3.8-27b",
    messages=[{"role": "user", "content": "Plan the migration in steps."}],
    extra_body={"reasoning_effort": "xhigh"},   # xhigh (по умолчанию) | medium | low
)

Понизьте до низкий для классификации, извлечения и маршрутизации — разница в качестве там невелика, а расход токенов — лишь малая часть. Оставьте xhigh для агентов и многокроковой работы с кодом.

Бенчмарки

Приведённые ниже цифры — собственные данные Qwen из карточки модели от 14 августа 2026 года. Независимые воспроизведения на момент написания всё ещё продолжали появляться.

Qwen сравнивает 27B с гораздо более крупными моделями на кодинговых и агентных наборах (SWE-bench Pro, DeepSWE, QwenSWEBench) с использованием Claude Code harness при контексте 256K. Важное для развёртывания утверждение — не один-единственный балл: важно, что плотная 27B, работающая на одной потребительской карте, оказывается в той же лиге, что и MoE-модели, которым нужен целый серверный шкаф. Рассматривайте таблицу вендора как стартовую гипотезу и бенчмаркните на своём наборе задач — здесь это дёшево, поскольку час работы 4090 стоит примерно двадцать центов.

Сценарии использования

Ассистент для программирования на одной GPU — один контейнер, одна карта, OpenAI-совместимая конечная точка
Понимание документов и скриншотов — нативное зрение, без отдельного пайплайна
Анализ видео — видео длительностью до часа за один проход с флагом кадров vLLM
RAG на длинном контексте — нативные 262K, а гибридное внимание делает KV-кэш доступным по цене
Агентные исполнители — preserve_thinking сохраняет связность рассуждений между вызовами инструментов
On-prem и в изолированной среде — Apache 2.0, ничего не отправляет домой
Дообучение LoRA — плотная 27B хорошо подходит для Unsloth и LLaMA-Factory на одной карте 24 ГБ

Устранение неполадок

Проблема

Исправьте

нет доступного образа ядра на 5090

Старая сборка CUDA — используйте образ cu128, см. совместимость

OOM при FP8 на одной RTX 5090

Ожидается: 30,9 ГБ весов на карте 32 ГБ. Используйте Q6/Q4 или TP=2

OOM при длинном контексте на 24 ГБ

Уменьшите --max-model-len до 32768, или опустите до UD-Q3_K_XL

YaRN отклонён

Требуется свежий vLLM/SGLang; пропустите это через --hf-overrides, а не как отдельный флаг

Входное видео проигнорировано

Добавьте --media-io-kwargs '{"video": {"num_frames": -1}}' (только vLLM)

Вызовы инструментов отброшены

--enable-auto-tool-choice --tool-call-parser hermes

Качество падает после ~600K

YaRN расширяет позиции, а не понимание — держите критически важный контент ближе к концу промпта

Дальнейшие шаги

Предшественник: Qwen3.6-27B — плотную 27B из апреля, которую она заменяет
Мультимодальный собрат: Qwen3.5-Omni — добавляет ввод аудио и вывод речи
Переходите: GLM-5.2 или Mistral Small 4 когда 27B недостаточно
Развёртывание: vLLM · SGLang · компонент
Дообучите её: Unsloth

Ссылки

Qwen3.8-27B на Hugging Face · FP8 · GGUF
рецепт vLLM · Руководство SGLang
Блог Qwen
Арендовать GPU: RTX 4090 · RTX 5090 · Маркетплейс

ПредыдущаяQwen3.6-27B (плотная, одна GPU)

СледующаяGLM-5.2 (MIT, контекст 1M)

Последнее обновление 1 месяц назад

Это было полезно?

Ключевые характеристики

Почему именно эта

Требования

Вариант A — Ollama (самый быстрый путь)

Вариант B — vLLM (продакшн)

Вариант C — llama.cpp / GGUF (карты 24 ГБ)

Усилие на рассуждение

Рекомендации по GPU для Clore.ai

Бенчмарки

Сценарии использования

Устранение неполадок

Дальнейшие шаги

Ссылки