Qwen3.6-27B (dense, un seul GPU)

Déployez Qwen3.6-27B d'Alibaba sur Clore.ai — un 27B dense qui tient sur une seule RTX 4090 et est fourni avec un contexte natif de 262K

Statut (avril 2026) : Qwen3.6-27B a été publié par Alibaba le 21 avril 2026 sous la Apache 2.0 licence. Les poids sont disponibles sur huggingface.co/Qwen/Qwen3.6-27B. C'est un dense modèle 27B — pas MoE — avec un contexte natif de 262K tokens qui s'étend jusqu'à 1M tokens avec YaRN, et une prise en charge dès le premier jour sur vLLM, SGLang et Ollama.

Les géants MoE de 2026 — DeepSeek V4, GLM-5.1, MiMo-V2.5-Pro — sont enthousiasmants sur les benchmarks, mais punitifs en pratique : des centaines de Go de poids, des racks multi-GPU, des kernels de routage d'experts fragiles et des factures d'inférence qui font grimacer les équipes finance. Qwen3.6-27B va dans l'autre sens. C'est densedense, chaque paramètre s'active à chaque token, la VRAM est prévisible au gigaoctet près, et il n'y a pas de surprise de routage d'experts quand vous dépassez un contexte de 8K.

Pour la plupart des équipes, la question n'est pas « peut-on servir un MoE de 744B » — c'est « peut-on mettre une bonne carte dans notre cluster et y servir un assistant de codage de niveau frontier ? » Qwen3.6-27B est conçu exactement pour cela. Q4 tient sur une seule RTX 4090 24 Go, Q8 tient sur une seule RTX 5090 32 Go, BF16 tient sur une seule L40S 48 Go ou A100 40 Go, et Alibaba publie 77,2 % sur SWE-Bench Verified (selon le fournisseur). Une carte, un conteneur, un modèle.

Spécifications clés

Propriété

Valeur

Paramètres

27B (dense)

Architecture

Transformeur dense à décodeur uniquement

Contexte natif

262 144 tokens

Contexte étendu

1 000 000 tokens (YaRN)

Licence

Apache 2.0

Date de sortie

21 avril 2026

Organisation

Alibaba (équipe Qwen)

Outils principaux

vLLM, SGLang, Ollama, llama.cpp

Pourquoi Qwen3.6-27B ?

Économie sur un seul GPU — Q4 sur RTX 4090 à partir de 0,14–0,42 $/h sur Clore.ai ; pas d'orchestration de parallélisme tensoriel à déboguer
Dense, pas MoE — VRAM fixe, pas de concentration des experts, pas de latence en pic sur certaines requêtes
Apache 2.0 — entièrement commercial, ajustable par fine-tuning, redistribuable, sans limite d'utilisation
Contexte natif de 262K, 1M avec YaRN — bases de code entières, livres complets, heures de transcriptions en un seul passage
vLLM / SGLang / Ollama dès le premier jour — choisissez votre pile de service ; Qwen a fourni des configurations pour les trois à la sortie
77,2 % SWE-Bench Verified (selon le fournisseur) — compétitif avec des modèles MoE bien plus grands sur de vraies tâches de codage

Exigences

L'idée essentielle est que ce modèle est tolérant. Une seule RTX 4090 du marché Clore.ai suffit pour faire fonctionner Qwen3.6-27B avec une qualité de niveau production (Q4) ou des vitesses « suffisantes pour la plupart des cas d'usage ». Pas de casse-tête multi-GPU.

Composant

Q4 (GGUF / AWQ)

Q8 (GGUF / GPTQ)

BF16

FP16 complète

GPU

1× RTX 4090 24 Go

1× RTX 5090 32 Go

1× L40S 48 Go ou 1× A100 40 Go

1× A100 80 Go

VRAM utilisée

~16–18 Go

~28–30 Go

~54 Go

~54 Go + marge pour le cache KV

RAM

32 Go

64 Go

96GB

Disque

20 Go NVMe

32 Go NVMe

60 Go NVMe

CUDA

12.8+

Choix Clore.ai : Pour 90 % des équipes, un seul RTX 4090 24 Go exécutant Q4 (AWQ ou GGUF) est la bonne réponse. Vous obtenez un codage de niveau frontier pour le prix de quelques cafés par jour. Passez à la RTX 5090 32 Go si vous voulez Q8 pour une qualité légèrement meilleure, ou à L40S / A100 40 Go pour une inférence BF16 complète en production.

Option A — Ollama (quantifié, le plus simple)

Ollama est le chemin le plus rapide pour passer de « j'ai un GPU Clore.ai » à « j'ai un point de terminaison de chat ».

# Récupérer Qwen3.6-27B (Q4_K_M par défaut, téléchargement d'environ 17 Go)
ollama pull qwen3.6:27b

# Exécuter en mode interactif
ollama run qwen3.6:27b

# Ou exposer l'API compatible OpenAI
ollama serve &

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.6:27b",
    "messages": [
      {"role": "system", "content": "Vous êtes un ingénieur Go senior."},
      {"role": "user", "content": "Refactorez ce handler pour utiliser correctement context.Context et ajoutez des tentatives avec backoff exponentiel."}
    ],
    "temperature": 0.6
  }'

Le tag qwen3.6:27b par défaut dans Ollama correspond à Q4_K_M. Utilisez qwen3.6:27b-q8_0 pour Q8 si vous avez une RTX 5090, ou qwen3.6:27b-fp16 pour la précision complète (nécessite une A100 80 Go).

Option B — vLLM (production)

vLLM est le serveur de production recommandé. La configuration mono-GPU ci-dessous vise la RTX 4090 avec quantification AWQ. La section multi-GPU est là pour être complète — mais avec un modèle dense de 27B, vous n'en avez presque jamais besoin.

# docker-compose.yml — une seule RTX 4090, Q4 AWQ
version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model Qwen/Qwen3.6-27B-Instruct-AWQ
      --quantization awq
      --max-model-len 65536
      --gpu-memory-utilization 0.92
      --served-model-name qwen3.6-27b
      --enable-auto-tool-choice
      --tool-call-parser hermes
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    shm_size: "8gb"

volumes:
  hf_cache:

# Tester l'API
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.6-27b",
    "messages": [
      {"role": "user", "content": "Expliquez la différence entre MoE et les modèles denses en 3 points."}
    ],
    "max_tokens": 512,
    "temperature": 0.7
  }'

Pour une précision complète BF16 sur une seule L40S 48 Go ou A100 40 Go, retirez --quantization awq et pointez vers le checkpoint de base (Qwen/Qwen3.6-27B-Instruct, --dtype bfloat16, --max-model-len 131072). Pour 2× RTX 4090 avec parallélisme tensoriel (contexte plus long, cache KV plus grand), ajoutez --tensor-parallel-size 2.

Option C — SGLang

SGLang brille lorsque vous dépassez la fenêtre native de 262K avec YaRN. Passez --rope-scaling pour étendre jusqu'à ~1M tokens.

docker pull lmsysorg/sglang:latest

# Mono-GPU, contexte natif de 262K
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-27B-Instruct \\
  --quantization awq \\
  --context-length 262144 \\
  --mem-fraction-static 0.90 \\
  --served-model-name qwen3.6-27b

# Étendu via YaRN à 1M tokens (nécessite plus de marge VRAM)
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-27B-Instruct \\
  --dtype bfloat16 \\
  --context-length 1000000 \\
  --json-model-override-args '{"rope_scaling":{"type":"yarn","factor":4.0,"original_max_position_embeddings":262144}}' \\
  --mem-fraction-static 0.85

Les coûts du contexte 1M augmentent rapidement. Même avec YaRN, le cache KV pour 1M tokens en BF16 est d'environ 40–60 Go selon la taille du lot. Prévoyez une A100 80 Go ou une H100 si vous comptez réellement remplir la fenêtre.

Recommandations GPU Clore.ai

Configuration

VRAM

Mode

Performances attendues

Coût Clore.ai

1× RTX 4090 24 Go

24GB

Q4 AWQ

50–80 tok/s, ctx 64K

0,14–0,42 $/h

1× RTX 5090 32 Go

32 Go

Q8 GPTQ

60–90 tok/s, ctx 96K

0,25–0,77 $/h

1× L40S 48 Go

48GB

BF16

35–55 tok/s, ctx 131K

~0,50 $/h

1× A100 40 Go

40 Go

BF16

40–60 tok/s, ctx 96K

bare metal

1× A100 80 Go

80 Go

FP16 + 262K

40–60 tok/s, contexte natif complet

bare metal

2× RTX 4090

48GB

BF16 TP=2

60–80 tok/s, ctx 262K

0,28–0,84 $/h

Le meilleur rapport qualité-prix, et de loin : 1× RTX 4090 à partir de 0,14–0,42 $/h exécutant Q4 AWQ via Ollama ou vLLM. Vous obtenez un modèle de codage de niveau frontier sur une seule carte grand public pour moins cher qu'un abonnement Claude Pro par jour.

Cas d’usage

Déploiements de production sur un seul GPU — un conteneur sur une seule 4090 Clore.ai et vous avez un véritable assistant de codage
Agents de codage — 77,2 % SWE-Bench Verified (selon le fournisseur) le place dans la catégorie « utile pour les PR autonomes »
RAG à long contexte — 262K natifs suffisent pour des bases de code entières ou des semaines de journaux de discussion
Analyse à 1M tokens — avec YaRN, chargez un livre entier ou un journal git de plusieurs mois dans un seul prompt
Sur site / isolé du réseau — Apache 2.0 est fourni avec le produit, sans dépendance à une API
Fine-tuning en périphérie — le dense 27B se prête bien à LoRA/QLoRA sur une seule carte
Worker dans un agent-d'agents — associez-le comme worker à un planificateur MoE plus grand comme GLM-5.1

Benchmarks

Déclaré par le fournisseur — vérifiez indépendamment. Les chiffres ci-dessous proviennent de la publication de lancement d'Alibaba du 21 avril 2026. Les reproductions indépendantes (Aider, BigCodeBench, classements LiveCodeBench) continuent d'arriver.

Benchmark

Qwen3.6-27B

Qwen3.5-35B

Gemma 3 27B

Llama 4 Scout

SWE-Bench Verified

77.2%

~71%

~58%

~54%

HumanEval

~93%

~92%

~90%

~88%

LiveCodeBench

~68%

~65%

~55%

~52%

MMLU-Pro

~78%

~76%

~74%

~72%

MATH

~87%

~85%

~78%

~76%

Le chiffre en tête d'affiche est SWE-Bench Verified 77,2 % — cela place un modèle dense mono-GPU dans une zone auparavant réservée aux systèmes MoE multi-GPU. Considérez cela comme une affirmation du fournisseur jusqu'à confirmation par les tableaux LMSYS / Aider.

Dépannage

Problème

Solution

OOM sur RTX 4090 (Q4)

Réduisez --max-model-len à 32768 ; AWQ à 65K ctx est juste à la limite des 24 Go

qwen3.6:27b introuvable dans Ollama

Mettez à jour Ollama ; le tag a été ajouté fin avril 2026

Configuration YaRN rejetée par vLLM

Nécessite vLLM ≥ 0.7.x ; passez via --rope-scaling du JSON, pas des indicateurs séparés

Appels d'outils ignorés silencieusement

Ajoutez --enable-auto-tool-choice --tool-call-parser hermes dans vLLM

Préremplissage lent sur long contexte

Ajoutez --enable-chunked-prefill et réduisez la taille du lot

OOM du cache KV à 262K

Passez à Q8 ou migrez vers L40S 48 Go / A100 80 Go

Mauvaise qualité près de 1M ctx

YaRN étend les positions, mais la qualité se dégrade au-delà d'environ 600K ; gardez le contenu critique près de la fin

Étapes suivantes

Prédécesseur : Qwen3.5 — Qwen3.6-27B est le successeur dense ; même famille, codage plus précis, contexte natif plus long
Frère/sœur multimodal(e) : Qwen3.5-Omni — texte + audio + image + vidéo si vous avez besoin de plus que du texte
Classe dense-27B similaire : Gemma 3 — concurrent dense 27B de Google, bon point de comparaison
Alternative MoE : Llama 4 Scout — MoE mono-GPU si vous voulez comparer les architectures
Montée en gamme MoE de pointe : GLM-5.1 — lorsque le dense 27B ne suffit pas et que vous avez un budget multi-GPU

Liens

Qwen3.6-27B sur HuggingFace
GitHub Qwen
Blog Qwen
documentation vLLM
dépôt SGLang
Bibliothèque Ollama
Louez un GPU : RTX 4090 à partir de 0,14–0,42 $/h · RTX 5090 32 Go · Place de marché

PrécédentLing-2.6-flash (MoE 104B d'Ant Group)

SuivantQwen3.8-27B (VLM dense, une carte)

Mis à jour il y a 1 mois

Ce contenu vous a-t-il été utile ?