> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/mistral-small4.md).

# Mistral Small 4 (119B MoE, 6,5B aktiv)

Deploye Mistral Small 4 (119B MoE, 6,5B aktiv) auf zwei Consumer-GPUs aus dem Clore.ai-Marktplatz — Apache 2.0, 256K Kontext, Vision und Reasoning in einem Modell

{% hint style="info" %}
**Status (August 2026):** Mistral veröffentlicht **Small 4** am **16. März 2026** unter **Apache 2.0**. Gewichte: [mistralai/Mistral-Small-4-119B-2603](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603). **119B Gesamtparameter mit nur 6,5B aktiven** (128 Experten, 4 aktiv pro Token), **256K Kontext**, native **Vision**, und einen Reasoning-Schalter pro Anfrage. Es bündelt Mistrals drei vorherigen Linien — Instruct, Magistral-Reasoning und Devstral-Coding — in einem einzigen Checkpoint.
{% endhint %}

„Small“ ist nach Parameterzahl ein Fehlname und beim Preis genau richtig. Nur **6,5B Parameter werden pro Token aktiviert**, sodass sich die Dekodiergeschwindigkeit wie bei einem 7B-Modell anfühlt, während die Qualität aus einem 119B-Pool stammt. Auf Q2 quantisiert ist es **40 GB** — zwei RTX 4090, für die der Clore.ai-Marktplatz freie Kapazität im Umfang von 322 Servern hat. Bei Q3–Q4 sind es 54–59 GB, bequem auf zwei RTX 5090s.

Wenn Sie ein einziges offenes Modell wollen, das bei einfachen Prompts sofort antwortet, auf Aufforderung stärker nachdenkt, Bilder liest und Code schreibt, ist dies derzeit die beste Wahl für Hardware, die Sie tatsächlich minutenweise mieten können.

### Wichtige Spezifikationen

| Eigenschaft            | Wert                                                               |
| ---------------------- | ------------------------------------------------------------------ |
| Parameter              | 119B gesamt, 6,5B aktiv (128 Experten, 4 aktiv)                    |
| Modalität              | Text + Bild hinein → Text hinaus                                   |
| Kontext                | 262.144 Tokens (256K)                                              |
| Lizenz                 | Apache 2.0                                                         |
| Veröffentlichungsdatum | 16. März 2026                                                      |
| Gewichte               | Offiziell \~242GB · Q3\_K\_M GGUF 54GB · Q2\_K\_XL GGUF 40GB       |
| Reasoning              | `reasoning_effort`: `none` (sofort) oder `hoch` (Testzeit-Compute) |
| Primäre Tools          | vLLM, llama.cpp, Transformers                                      |

***

## Anforderungen

| Build                  | Größe   | Clore.ai-Einrichtung                                      |
| ---------------------- | ------- | --------------------------------------------------------- |
| `UD-IQ1_M`             | 32 GB   | 1× RTX PRO 6000 96GB oder 2× RTX 4090                     |
| `UD-Q2_K_XL`           | 40 GB   | **2× RTX 4090 / 3090 (48GB)** — 322 Server frei bei ≥48GB |
| `UD-Q3_K_M`            | 54GB    | 2× RTX 5090 (64GB)                                        |
| `UD-IQ4_NL`            | 59GB    | 2× RTX 5090 (64GB)                                        |
| Offizieller Checkpoint | \~242GB | 8× RTX 5090 (248GB)                                       |

Fügen Sie Puffer für den KV-Cache hinzu: Bei 256K Kontext ist er selbst bei einem so sparsamen MoE beträchtlich. Beginnen Sie bei 32–64K und erhöhen Sie ihn, sobald Sie die tatsächliche Nutzung sehen.

***

## Mit llama.cpp bereitstellen (zwei Consumer-Karten)

```bash
huggingface-cli download unsloth/Mistral-Small-4-119B-2603-GGUF \\
  --include "*UD-Q2_K_XL*" --local-dir /workspace/ms4

llama-server -m /workspace/ms4/*UD-Q2_K_XL*-00001-of-*.gguf \\
  --host 0.0.0.0 --port 8080 \\
  -ngl 999 --split-mode layer \\
  -c 65536 --flash-attn
```

## Mit vLLM bereitstellen

```bash
vllm serve mistralai/Mistral-Small-4-119B-2603 \\
  --tensor-parallel-size 8 \
  --tokenizer-mode mistral \\
  --config-format mistral \\
  --load-format mistral \\
  --max-model-len 262144 \\
  --enable-expert-parallel
```

Ein offizieller NVFP4-Build ([`mistralai/Mistral-Small-4-119B-2603-NVFP4`](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603-NVFP4)) zielt auf Blackwell-Karten ab — nützlich auf RTX-50er- und RTX PRO 6000-Rigs.

## Reasoning auf Abruf

```python
client.chat.completions.create(
    model="mistral-small-4",
    messages=[{"role": "user", "content": "Finde den Deadlock in diesem Scheduler."}],
    extra_body={"reasoning_effort": "high"},   # "none" für sofortige Antworten
    temperature=0.7,                            # 0.0–0.7, wenn Reasoning ausgeschaltet ist
)
```

Mistral empfiehlt bei aktivem Reasoning eine Temperatur von 0.7. Wenn Reasoning aus ist, bleiben Sie je nach gewünschter Deterministik zwischen 0.0 und 0.7.

***

## GPU-Empfehlungen für Clore.ai

| Einrichtung     | VRAM  | Build                  | Kontext    | Clore.ai-Kosten     |
| --------------- | ----- | ---------------------- | ---------- | ------------------- |
| **2× RTX 4090** | 48GB  | Q2\_K\_XL              | \~64K      | **$0.28–0.84/Std.** |
| 2× RTX 3090     | 48GB  | Q2\_K\_XL              | \~64K      | ca. 0,14–0,42 $/h   |
| **2× RTX 5090** | 64 GB | Q3\_K\_M / IQ4\_NL     | \~96K      | **$0.50–1.54/Std.** |
| 1× RTX PRO 6000 | 96GB  | Q3\_K\_M, Einzelkarte  | \~131K     | $0.92–1.38/Std.     |
| 8× RTX 5090     | 248GB | offizieller Checkpoint | volle 256K | \~$2.00–3.50/Std.   |

{% hint style="success" %}
**Ein Paar RTX 3090s ist die preislich beste Wahl** — 48GB VRAM für insgesamt etwa $0.14–0.42/Std., mit einem 119B-Modell. Verwenden Sie [partielle GPU-Miete](/guides/guides_v2-de/erste-schritte/partial-gpu-rental.md) um zwei Karten aus einem größeren Rig herauszunehmen, statt nach einer dedizierten Dual-3090-Box zu suchen.
{% endhint %}

***

## Anwendungsfälle

* **Ein Modell für ein ganzes Produkt** — Chat, Coding und Reasoning ohne drei Deployments
* **Dokumenten- und Bildextraktion** — Vision plus 256K Kontext bewältigt lange gescannte Dokumente
* **Coding-Agenten mit kleinem Budget** — Devstrals Abstammung, mit 6,5B aktiven Parametern pro Token
* **Bereitstellung mit Latenzstufen** — `reasoning_effort: none` für den schnellen Pfad, `hoch` für den schwierigen Pfad, gleicher Endpunkt
* **Kommerzielle Produkte** — Apache 2.0, keine Umsatzklausel, keine regionale Beschränkung

***

## Fehlerbehebung

| Problem                             | Fix                                                                                                                            |
| ----------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ |
| vLLM-Tokenizer-Fehler               | Mistral-Modelle benötigen `--tokenizer-mode mistral --config-format mistral --load-format mistral`                             |
| OOM bei 256K                        | Der KV-Cache, nicht die Gewichte — reduzieren Sie `--max-model-len`                                                            |
| Reasoning wird nie ausgelöst        | `reasoning_effort` gilt pro Anfrage; prüfen Sie, ob Ihr Client `extra_body`                                                    |
| Langsames erstes Token auf 2 Karten | Layer-split-GGUF über PCIe fügt Latenz hinzu; bevorzugen Sie Rigs mit x8/x16-Verbindungen                                      |
| NVFP4-Build lässt sich nicht laden  | Benötigt Blackwell — siehe [CUDA- & PyTorch-Kompatibilität](/guides/guides_v2-de/erste-schritte/cuda-pytorch-compatibility.md) |

***

## Nächste Schritte

* **Kleineres Geschwistermodell:** [Mistral Small 3.1](/guides/guides_v2-de/sprachmodelle/mistral-small.md) — 24B dicht, eine Karte
* **Größeres Geschwistermodell:** [Mistral Large 3](/guides/guides_v2-de/sprachmodelle/mistral-large3.md) — 675B MoE
* **Dichte Alternative:** [Qwen3.8-27B](/guides/guides_v2-de/sprachmodelle/qwen38-27b.md) — 27B, eine Karte, Apache 2.0
* **Fine-tunen Sie es:** [Unsloth](/guides/guides_v2-de/training/unsloth-finetune.md) · [LLaMA-Factory](/guides/guides_v2-de/training/llama-factory.md)

### Links

* [Mistral Small 4 auf Hugging Face](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603) · [GGUF](https://huggingface.co/unsloth/Mistral-Small-4-119B-2603-GGUF)
* [Mistral-Ankündigung](https://mistral.ai/news/mistral-small-4/)
* **Eine GPU mieten:** [RTX 4090](https://clore.ai/rent-4090.html) · [RTX 5090](https://clore.ai/rent-5090.html) · [Marktplatz](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/mistral-small4.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.