Mistral Small 4 (119B MoE, 6,5B aktiv)

Deploye Mistral Small 4 (119B MoE, 6,5B aktiv) auf zwei Consumer-GPUs aus dem Clore.ai-Marktplatz — Apache 2.0, 256K Kontext, Vision und Reasoning in einem Modell

Status (August 2026): Mistral veröffentlicht Small 4 am 16. März 2026 unter Apache 2.0. Gewichte: mistralai/Mistral-Small-4-119B-2603. 119B Gesamtparameter mit nur 6,5B aktiven (128 Experten, 4 aktiv pro Token), 256K Kontext, native Vision, und einen Reasoning-Schalter pro Anfrage. Es bündelt Mistrals drei vorherigen Linien — Instruct, Magistral-Reasoning und Devstral-Coding — in einem einzigen Checkpoint.

„Small“ ist nach Parameterzahl ein Fehlname und beim Preis genau richtig. Nur 6,5B Parameter werden pro Token aktiviert, sodass sich die Dekodiergeschwindigkeit wie bei einem 7B-Modell anfühlt, während die Qualität aus einem 119B-Pool stammt. Auf Q2 quantisiert ist es 40 GB — zwei RTX 4090, für die der Clore.ai-Marktplatz freie Kapazität im Umfang von 322 Servern hat. Bei Q3–Q4 sind es 54–59 GB, bequem auf zwei RTX 5090s.

Wenn Sie ein einziges offenes Modell wollen, das bei einfachen Prompts sofort antwortet, auf Aufforderung stärker nachdenkt, Bilder liest und Code schreibt, ist dies derzeit die beste Wahl für Hardware, die Sie tatsächlich minutenweise mieten können.

Wichtige Spezifikationen

Eigenschaft	Wert
Parameter	119B gesamt, 6,5B aktiv (128 Experten, 4 aktiv)
Modalität	Text + Bild hinein → Text hinaus
Kontext	262.144 Tokens (256K)
Lizenz	Apache 2.0
Veröffentlichungsdatum	16. März 2026
Gewichte	Offiziell ~242GB · Q3_K_M GGUF 54GB · Q2_K_XL GGUF 40GB
Reasoning	reasoning_effort: none (sofort) oder hoch (Testzeit-Compute)
Primäre Tools	vLLM, llama.cpp, Transformers

---

Anforderungen

Build	Größe	Clore.ai-Einrichtung
UD-IQ1_M	32 GB	1× RTX PRO 6000 96GB oder 2× RTX 4090
UD-Q2_K_XL	40 GB	2× RTX 4090 / 3090 (48GB) — 322 Server frei bei ≥48GB
UD-Q3_K_M	54GB	2× RTX 5090 (64GB)
UD-IQ4_NL	59GB	2× RTX 5090 (64GB)
Offizieller Checkpoint	~242GB	8× RTX 5090 (248GB)

Fügen Sie Puffer für den KV-Cache hinzu: Bei 256K Kontext ist er selbst bei einem so sparsamen MoE beträchtlich. Beginnen Sie bei 32–64K und erhöhen Sie ihn, sobald Sie die tatsächliche Nutzung sehen.

---

Mit llama.cpp bereitstellen (zwei Consumer-Karten)

huggingface-cli download unsloth/Mistral-Small-4-119B-2603-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/ms4

llama-server -m /workspace/ms4/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer \\
  -c 65536 --flash-attn

Mit vLLM bereitstellen

vllm serve mistralai/Mistral-Small-4-119B-2603 \\
  --tensor-parallel-size 8 \
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --max-model-len 262144 \\
  --enable-expert-parallel

Ein offizieller NVFP4-Build (mistralai/Mistral-Small-4-119B-2603-NVFP4) zielt auf Blackwell-Karten ab — nützlich auf RTX-50er- und RTX PRO 6000-Rigs.

Reasoning auf Abruf

client.chat.completions.create(
    model="mistral-small-4",
    messages=[{"role": "user", "content": "Finde den Deadlock in diesem Scheduler."}],
    extra_body={"reasoning_effort": "high"},   # "none" für sofortige Antworten
    temperature=0.7,                            # 0.0–0.7, wenn Reasoning ausgeschaltet ist
)

Mistral empfiehlt bei aktivem Reasoning eine Temperatur von 0.7. Wenn Reasoning aus ist, bleiben Sie je nach gewünschter Deterministik zwischen 0.0 und 0.7.

---

GPU-Empfehlungen für Clore.ai

Einrichtung	VRAM	Build	Kontext	Clore.ai-Kosten
2× RTX 4090	48GB	Q2_K_XL	~64K	$0.28–0.84/Std.
2× RTX 3090	48GB	Q2_K_XL	~64K	ca. 0,14–0,42 $/h
2× RTX 5090	64 GB	Q3_K_M / IQ4_NL	~96K	$0.50–1.54/Std.
1× RTX PRO 6000	96GB	Q3_K_M, Einzelkarte	~131K	$0.92–1.38/Std.
8× RTX 5090	248GB	offizieller Checkpoint	volle 256K	~$2.00–3.50/Std.

Ein Paar RTX 3090s ist die preislich beste Wahl — 48GB VRAM für insgesamt etwa $0.14–0.42/Std., mit einem 119B-Modell. Verwenden Sie partielle GPU-Miete um zwei Karten aus einem größeren Rig herauszunehmen, statt nach einer dedizierten Dual-3090-Box zu suchen.

---

Anwendungsfälle

• Ein Modell für ein ganzes Produkt — Chat, Coding und Reasoning ohne drei Deployments

• Dokumenten- und Bildextraktion — Vision plus 256K Kontext bewältigt lange gescannte Dokumente

• Coding-Agenten mit kleinem Budget — Devstrals Abstammung, mit 6,5B aktiven Parametern pro Token

• Bereitstellung mit Latenzstufen — reasoning_effort: none für den schnellen Pfad, hoch für den schwierigen Pfad, gleicher Endpunkt

• Kommerzielle Produkte — Apache 2.0, keine Umsatzklausel, keine regionale Beschränkung

---

Fehlerbehebung

Problem	Fix
vLLM-Tokenizer-Fehler	Mistral-Modelle benötigen --tokenizer-mode mistral --config-format mistral --load-format mistral
OOM bei 256K	Der KV-Cache, nicht die Gewichte — reduzieren Sie --max-model-len
Reasoning wird nie ausgelöst	reasoning_effort gilt pro Anfrage; prüfen Sie, ob Ihr Client extra_body
Langsames erstes Token auf 2 Karten	Layer-split-GGUF über PCIe fügt Latenz hinzu; bevorzugen Sie Rigs mit x8/x16-Verbindungen
NVFP4-Build lässt sich nicht laden	Benötigt Blackwell — siehe CUDA- & PyTorch-Kompatibilität

---

Nächste Schritte

• Kleineres Geschwistermodell: Mistral Small 3.1 — 24B dicht, eine Karte

• Größeres Geschwistermodell: Mistral Large 3 — 675B MoE

• Dichte Alternative: Qwen3.8-27B — 27B, eine Karte, Apache 2.0

• Fine-tunen Sie es: Unsloth · LLaMA-Factory

Links

• Mistral Small 4 auf Hugging Face · GGUF

• Mistral-Ankündigung

• Eine GPU mieten: RTX 4090 · RTX 5090 · Marktplatz