Qwen3.6-27B (dicht, Single-GPU)

Deploye Qwen3.6-27B von Alibaba auf Clore.ai — ein dichtes 27B-Modell, das auf eine einzelne RTX 4090 passt und mit 262K nativer Kontextlänge geliefert wird

Status (April 2026): Qwen3.6-27B wurde von Alibaba am 21. April 2026 unter der Apache 2.0 Lizenz veröffentlicht. Die Gewichte liegen unter huggingface.co/Qwen/Qwen3.6-27B. Es ist ein dichtes 27B-Modell — kein MoE — mit einem nativen Kontext von 262K Token der sich erweitert auf 1M Token mit YaRN, und Unterstützung ab Tag 0 für vLLM, SGLang und Ollama.

Die MoE-Riesen von 2026 — DeepSeek V4, GLM-5.1, MiMo-V2.5-Pro — sind auf Benchmarks spannend, aber in der Praxis gnadenlos: Hunderte GB an Gewichten, Multi-GPU-Racks, fragile Expert-Routing-Kernels und Inferenzrechnungen, bei denen Finanzteams zusammenzucken. Qwen3.6-27B geht den anderen Weg. Es ist dichtes, jeder Parameter wird bei jedem Token aktiviert, der VRAM ist bis auf das Gigabyte vorhersehbar, und es gibt keine Überraschung beim Expert-Routing, wenn man über 8K Kontext hinausgeht.

Für die meisten Teams lautet die Frage nicht „können wir ein 744B-MoE bereitstellen“ — sondern „können wir eine gute Karte in unseren Cluster stecken und darauf einen Coding-Assistenten der Frontier-Klasse betreiben?“ Qwen3.6-27B ist genau dafür gebaut. Q4 passt auf eine einzelne RTX 4090 24GB, Q8 passt auf eine einzelne RTX 5090 32 GB, BF16 passt auf eine einzelne L40S 48GB oder A100 40GB, und Alibaba veröffentlicht 77,2 % auf SWE-Bench Verified (vom Anbieter behauptet). Eine Karte, ein Container, ein Modell.

Wichtige Spezifikationen

Eigenschaft

Wert

Parameter

27B (dicht)

Architektur

Dichter Decoder-only-Transformer

Nativer Kontext

262.144 Token

Erweiterter Kontext

1.000.000 Token (YaRN)

Lizenz

Apache 2.0

Veröffentlichungsdatum

21. April 2026

Organisation

Alibaba (Qwen-Team)

Primäre Tools

vLLM, SGLang, Ollama, llama.cpp

Warum Qwen3.6-27B?

Wirtschaftlichkeit mit einer einzelnen GPU — Q4 auf RTX 4090 ab ca. 0,14–0,42 $/h auf Clore.ai; keine Tensor-Parallel-Orchestrierung, die man debuggen muss
Dicht, nicht MoE — fester VRAM, kein Hotspotting der Experten, keine Latenzspitzen bei bestimmten Prompts
Apache 2.0 — vollständig kommerziell, feinabstimmbar, weiterverteilbar, keine Nutzungslimits
262K nativer Kontext, 1M mit YaRN — komplette Codebasen, ganze Bücher, Stunden von Transkripten in einem Durchlauf
Tag-0 vLLM / SGLang / Ollama — wählen Sie Ihren Serving-Stack; Qwen lieferte bei Veröffentlichung Konfigurationen für alle drei
77,2 % SWE-Bench Verified (vom Anbieter behauptet) — konkurrenzfähig mit viel größeren MoE-Modellen bei echten Coding-Aufgaben

Anforderungen

Der ganze Punkt ist, dass dieses Modell nachsichtig ist. Eine einzelne RTX 4090 aus dem Clore.ai-Marktplatz reicht aus, um Qwen3.6-27B in produktionsreifer Qualität (Q4) oder mit „gut genug für die meisten Anwendungsfälle“-Geschwindigkeit zu betreiben. Kein Multi-GPU-Kopfzerbrechen.

Komponente

Q4 (GGUF / AWQ)

Q8 (GGUF / GPTQ)

BF16

Volles FP16

GPU

1× RTX 4090 24GB

1× RTX 5090 32GB

1× L40S 48GB oder 1× A100 40GB

1× A100 80GB

Verwendeter VRAM

~16–18 GB

~28–30 GB

~54 GB

~54 GB + Puffer für KV-Cache

RAM

32 GB

64 GB

96GB

Festplatte

20 GB NVMe

32 GB NVMe

60 GB NVMe

CUDA

12.8+

Clore.ai-Wahl: Für 90 % der Teams ist eine einzelne RTX 4090 24GB die Q4 ausführt (AWQ oder GGUF), die richtige Antwort. Sie erhalten Coding auf Frontier-Niveau zum Preis von ein paar Kaffees pro Tag. Steigen Sie auf RTX 5090 32GB um, wenn Sie Q8 für etwas bessere Qualität wollen, oder auf L40S / A100 40GB für vollständige BF16-Produktionsinferenz.

Option A — Ollama (quantisiert, am einfachsten)

Ollama ist der schnellste Weg von „Ich habe eine Clore.ai-GPU“ zu „Ich habe einen Chat-Endpunkt“.

# Qwen3.6-27B ziehen (standardmäßig Q4_K_M, ~17 GB Download)
ollama pull qwen3.6:27b

# Interaktiv ausführen
ollama run qwen3.6:27b

# Oder die OpenAI-kompatible API bereitstellen
ollama serve &

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \\
  -d '{
    "model": "qwen3.6:27b",
    "messages": [
      {"role": "system", "content": "Du bist ein Senior-Go-Ingenieur."},
      {"role": "user", "content": "Refaktoriere diesen Handler, damit er context.Context korrekt verwendet, und füge Wiederholungsversuche mit exponentiellem Backoff hinzu."}
    ],
    "temperature": 0.6
  }'

Der Standard- qwen3.6:27b Tag in Ollama entspricht Q4_K_M. Verwenden Sie qwen3.6:27b-q8_0 für Q8, wenn Sie eine RTX 5090 haben, oder qwen3.6:27b-fp16 für volle Präzision (benötigt eine A100 80GB).

Option B — vLLM (Produktion)

vLLM ist der empfohlene Produktionsserver. Die unten stehende Single-GPU-Konfiguration zielt auf eine RTX 4090 mit AWQ-Quantisierung ab. Der Multi-GPU-Abschnitt ist der Vollständigkeit halber da — aber bei einem 27B-Dichtmodell braucht man ihn fast nie.

# docker-compose.yml — einzelne RTX 4090, Q4 AWQ
version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model Qwen/Qwen3.6-27B-Instruct-AWQ
      --quantization awq
      --max-model-len 65536
      --gpu-memory-utilization 0.92
      --served-model-name qwen3.6-27b
      --enable-auto-tool-choice
      --tool-call-parser hermes
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    shm_size: "8gb"

volumes:
  hf_cache:

# API testen
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "qwen3.6:27b",
    "messages": [
      {"role": "user", "content": "Erkläre den Unterschied zwischen MoE- und dichten Modellen in 3 Stichpunkten."}
    ],
    "max_tokens": 512,
    "temperature": 0.7
  }'

Für volles BF16 auf einer einzelnen L40S 48GB oder A100 40GB, entfernen Sie --quantization awq und verweisen Sie auf den Basis-Checkpoint (Qwen/Qwen3.6-27B-Instruct, --dtype bfloat16, --max-model-len 131072). Für 2× RTX 4090 mit Tensor-Parallelismus (längerer Kontext, größerer KV-Cache) fügen Sie --tensor-parallel-size 2.

Option C — SGLang

SGLang glänzt, wenn Sie mit YaRN über das native 262K-Fenster hinausgehen. Übergeben Sie --rope-scaling um auf ~1M Token zu erweitern.

docker pull lmsysorg/sglang:latest

# Einzelne GPU, nativer 262K-Kontext
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-27B-Instruct \\
  --quantization awq \\
  --context-length 262144 \\
  --mem-fraction-static 0.90 \\
  --served-model-name qwen3.6-27b

# Mit YaRN auf 1M Token erweitert (benötigt mehr VRAM-Puffer)
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-27B-Instruct \\
  --dtype bfloat16 \\
  --context-length 1000000 \\
  --json-model-override-args '{"rope_scaling":{"type":"yarn","factor":4.0,"original_max_position_embeddings":262144}}' \\
  --mem-fraction-static 0.85

Die Kosten für 1M Kontext steigen schnell. Selbst mit YaRN liegt der KV-Cache für 1M Token bei BF16 ungefähr bei 40–60 GB je nach Batchgröße. Planen Sie mit einer A100 80GB oder H100, wenn Sie das Fenster tatsächlich voll ausnutzen wollen.

GPU-Empfehlungen für Clore.ai

Einrichtung

VRAM

Modus

Erwartete Leistung

Clore.ai-Kosten

1× RTX 4090 24GB

24 GB

Q4 AWQ

50–80 Token/s, 64K ctx

ca. 0,14–0,42 $/h

1× RTX 5090 32GB

32 GB

Q8 GPTQ

60–90 Token/s, 96K ctx

0,25–0,77 $/Std.

1× L40S 48GB

48GB

BF16

35–55 Token/s, 131K ctx

~0,50 $/Std.

1× A100 40GB

40 GB

BF16

40–60 Token/s, 96K ctx

Bare Metal

1× A100 80GB

80 GB

FP16 + 262K

40–60 Token/s, voller nativer Kontext

Bare Metal

2× RTX 4090

48GB

BF16 TP=2

60–80 Token/s, 262K ctx

$0.28–0.84/Std.

Mit Abstand das beste Preis-Leistungs-Verhältnis: 1× RTX 4090 ab 0,14–0,42 $/Std. Q4 AWQ über Ollama oder vLLM ausführen. Sie erhalten ein Coding-Modell der Frontier-Klasse auf einer einzelnen Consumer-Karte für weniger als die Kosten eines Claude-Pro-Abonnements pro Tag.

Anwendungsfälle

Produktive Single-GPU-Deployments — ein Container auf einer einzigen Clore.ai 4090 und Sie haben einen echten Coding-Assistenten
Coding-Agenten — 77,2 % SWE-Bench Verified (vom Anbieter behauptet) ordnet es in die Kategorie „nützlich für autonome PRs“ ein
RAG mit langem Kontext — 262K nativ reichen für ganze Codebasen oder wochenlange Chat-Logs
Analyse mit 1M Token — mit YaRN können Sie ein ganzes Buch oder ein mehrmonatiges Git-Log in einen einzigen Prompt packen
On-Prem / luftgekappt — Apache 2.0 wird mit dem Produkt ausgeliefert, keine API-Abhängigkeit
Feinabstimmung am Edge — 27B dicht ist freundlich zu LoRA/QLoRA auf einer einzelnen Karte
Worker in Agenten-der-Agenten — als Worker mit einem größeren MoE-Planer koppeln wie GLM-5.1

Benchmarks

Vom Anbieter behauptet — unabhängig prüfen. Die untenstehenden Zahlen stammen aus Alibabas Release-Post vom 21. April 2026. Unabhängige Reproduktionen (Aider-, BigCodeBench-, LiveCodeBench-Ranglisten) laufen noch ein.

Benchmark

Qwen3.6-27B

Qwen3.5-35B

Gemma 3 27B

Llama 4 Scout

SWE-Bench Verified

77.2%

~71%

~58%

~54%

HumanEval

~93%

~92%

~90%

~88%

LiveCodeBench

~68%

~65%

~55%

~52%

MMLU-Pro

~78%

~76%

~74%

~72%

MATH

~87%

~85%

~78%

~76%

Die Schlagzeilenzahl ist SWE-Bench Verified 77,2 % — das bringt ein dichtes Einzel-GPU-Modell in einen Bereich, der bisher Multi-GPU-MoE-Systemen vorbehalten war. Betrachten Sie das als Anbieterbehauptung, bis LMSYS-/Aider-Boards es bestätigen.

Fehlerbehebung

Problem

Lösung

OOM auf RTX 4090 (Q4)

Niedriger --max-model-len auf 32768; AWQ bei 65K Kontext liegt genau am Rand von 24 GB

qwen3.6:27b nicht in Ollama gefunden

Aktualisieren Sie Ollama; das Tag kam erst Ende April 2026

YaRN-Konfiguration von vLLM abgelehnt

Erfordert vLLM ≥ 0.7.x; übergeben via --rope-scaling JSON, nicht als separate Flags

Tool-Calls stillschweigend verworfen

Fügen Sie --enable-auto-tool-choice --tool-call-parser hermes in vLLM

Langsames Prefill bei langem Kontext

Fügen Sie --enable-chunked-prefill und Batchgröße reduzieren

KV-Cache-OOM bei 262K

Auf Q8 heruntergehen oder zu L40S 48GB / A100 80GB wechseln

Schlechte Qualität nahe 1M Kontext

YaRN erweitert die Positionen, aber die Qualität nimmt jenseits von ~600K ab; halten Sie kritische Inhalte nahe dem Ende

Nächste Schritte

Vorgänger: Qwen3.5 — Qwen3.6-27B ist der dichte Nachfolger; gleiche Familie, schärferes Coding, längerer nativer Kontext
Multimodaler Verwandter: Qwen3.5-Omni — Text + Audio + Bild + Video, wenn Sie mehr als Text brauchen
Ähnliche dichte 27B-Klasse: Gemma 3 — Googles 27B-dichter Konkurrent, guter Basisvergleich
MoE-Alternative: Llama 4 Scout — Single-GPU-MoE, wenn Sie Architekturen vergleichen möchten
Frontier-MoE-Aufstieg: GLM-5.1 — wenn 27B dicht nicht ausreicht und Sie ein Multi-GPU-Budget haben

Wichtige Spezifikationen

Warum Qwen3.6-27B?

Anforderungen

Option A — Ollama (quantisiert, am einfachsten)

Option B — vLLM (Produktion)

Option C — SGLang

GPU-Empfehlungen für Clore.ai

Anwendungsfälle

Benchmarks

Fehlerbehebung

Nächste Schritte

Links