> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-small4.md).

# Mistral Small 4 (119B MoE, 6.5B Active)

Clore.ai मार्केटप्लेस से दो कंज़्यूमर GPU पर Mistral Small 4 (119B MoE, 6.5B active) डिप्लॉय करें — Apache 2.0, 256K संदर्भ, और एक ही मॉडल में विज़न तथा रीजनिंग

{% hint style="info" %}
**स्थिति (अगस्त 2026):** Mistral जारी किया गया **Small 4** को **16 मार्च 2026** के अंतर्गत **Apache 2.0**. वज़न: [mistralai/Mistral-Small-4-119B-2603](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603). **कुल 119B पैरामीटर, जिनमें केवल 6.5B सक्रिय हैं** (128 विशेषज्ञ, प्रति टोकन 4 सक्रिय), **256K संदर्भ**, मूल **विज़न**, और प्रति-रिक्वेस्ट reasoning टॉगल। यह Mistral की पिछली तीन लाइनें — Instruct, Magistral reasoning और Devstral coding — को एक ही चेकपॉइंट में समेट देता है।
{% endhint %}

"Small" पैरामीटर गिनती के हिसाब से भ्रामक नाम है और लागत के हिसाब से बिल्कुल सही। केवल **प्रति टोकन 6.5B पैरामीटर सक्रिय होते हैं**, इसलिए डिकोड गति 7B मॉडल जैसी लगती है, जबकि गुणवत्ता 119B पूल से आती है। Q2 में क्वांटाइज़ करने पर यह **40GB** — दो RTX 4090, जिनके लिए Clore.ai मार्केटप्लेस में 322 सर्वरों के बराबर खाली क्षमता है। Q3–Q4 पर यह 54–59GB है, जो दो RTX 5090 पर आराम से चल जाता है।

अगर आप एक ऐसा ओपन मॉडल चाहते हैं जो आसान प्रॉम्प्ट्स पर तुरंत जवाब दे, कहने पर गहराई से सोचे, इमेजें पढ़े, और कोड लिखे, तो फिलहाल यह उस हार्डवेयर के लिए सबसे अच्छा विकल्प है जिसे आप सचमुच मिनट के हिसाब से किराये पर ले सकते हैं।

### मुख्य विनिर्देश

| गुण          | मान                                                             |
| ------------ | --------------------------------------------------------------- |
| पैरामीटर     | कुल 119B, 6.5B सक्रिय (128 विशेषज्ञ, 4 सक्रिय)                  |
| मोडैलिटी     | टेक्स्ट + इमेज इन → टेक्स्ट आउट                                 |
| संदर्भ       | 262,144 टोकन (256K)                                             |
| लाइसेंस      | Apache 2.0                                                      |
| रिलीज़ तिथि  | 16 मार्च 2026                                                   |
| वज़न         | आधिकारिक \~242GB · Q3\_K\_M GGUF 54GB · Q2\_K\_XL GGUF 40GB     |
| तर्क         | `reasoning_effort`: `none` (तुरंत) या `उच्च` (परीक्षण-समय गणना) |
| मुख्य टूलिंग | vLLM, llama.cpp, Transformers                                   |

***

## आवश्यकताएँ

| बिल्ड             | आकार    | Clore.ai सेटअप                                          |
| ----------------- | ------- | ------------------------------------------------------- |
| `UD-IQ1_M`        | 32GB    | 1× RTX PRO 6000 96GB, या 2× RTX 4090                    |
| `UD-Q2_K_XL`      | 40GB    | **2× RTX 4090 / 3090 (48GB)** — ≥48GB पर 322 सर्वर खाली |
| `UD-Q3_K_M`       | 54GB    | 2× RTX 5090 (64GB)                                      |
| `UD-IQ4_NL`       | 59GB    | 2× RTX 5090 (64GB)                                      |
| आधिकारिक चेकपॉइंट | \~242GB | 8× RTX 5090 (248GB)                                     |

KV कैश के लिए अतिरिक्त जगह रखें: 256K संदर्भ पर, इतनी विरल MoE होने पर भी यह काफी बड़ा होता है। 32–64K से शुरू करें और वास्तविक उपयोग दिखने पर इसे बढ़ाएँ।

***

## llama.cpp के साथ डिप्लॉय करें (दो उपभोक्ता कार्ड)

```bash
huggingface-cli download unsloth/Mistral-Small-4-119B-2603-GGUF \
  --include "*UD-Q2_K_XL*" --local-dir /workspace/ms4

llama-server -m /workspace/ms4/*UD-Q2_K_XL*-00001-of-*.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 999 --split-mode layer \
  -c 65536 --flash-attn
```

## vLLM के साथ डिप्लॉय करें

```bash
vllm serve mistralai/Mistral-Small-4-119B-2603 \
  --tensor-parallel-size 8 \\
  --tokenizer-mode mistral \
  --config-format mistral \
  --load-format mistral \
  --max-model-len 262144 \
  --enable-expert-parallel
```

एक आधिकारिक NVFP4 बिल्ड ([`mistralai/Mistral-Small-4-119B-2603-NVFP4`](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603-NVFP4)) Blackwell कार्ड्स को लक्षित करता है — RTX 50-सीरीज़ और RTX PRO 6000 रिग्स पर उपयोगी।

## मांग पर reasoning

```python
client.chat.completions.create(
    model="mistral-small-4",
    messages=[{"role": "user", "content": "इस शेड्यूलर में डेडलॉक खोजें."}],
    extra_body={"reasoning_effort": "high"},   # तुरंत जवाबों के लिए "none"
    temperature=0.7,                            # reasoning बंद होने पर 0.0–0.7
)
```

Mistral reasoning चालू होने पर temperature 0.7 की सिफारिश करता है। reasoning बंद होने पर, आउटपुट कितनी हद तक deterministic चाहिए, उसके अनुसार 0.0 और 0.7 के बीच रहें।

***

## Clore.ai GPU अनुशंसाएँ

| सेटअप           | VRAM  | बिल्ड               | संदर्भ    | Clore.ai लागत     |
| --------------- | ----- | ------------------- | --------- | ----------------- |
| **2× RTX 4090** | 48GB  | Q2\_K\_XL           | \~64K     | **$0.28–0.84/hr** |
| 2× RTX 3090     | 48GB  | Q2\_K\_XL           | \~64K     | $0.14–0.42/hr     |
| **2× RTX 5090** | 64GB  | Q3\_K\_M / IQ4\_NL  | \~96K     | **$0.50–1.54/hr** |
| 1× RTX PRO 6000 | 96GB  | Q3\_K\_M, एकल कार्ड | \~131K    | $0.92–1.38/hr     |
| 8× RTX 5090     | 248GB | आधिकारिक चेकपॉइंट   | पूरा 256K | \~$2.00–3.50/hr   |

{% hint style="success" %}
**RTX 3090 की एक जोड़ी सबसे किफायती विकल्प है** — कुल लगभग $0.14–0.42/घंटा में 48GB VRAM, 119B मॉडल चलाते हुए। उपयोग करें [आंशिक GPU किराये](/guides/guides_v2-hi/getting-started/partial-gpu-rental.md) ताकि आप समर्पित dual-3090 बॉक्स ढूँढने के बजाय बड़े रिग से दो कार्ड ले सकें।
{% endhint %}

***

## उपयोग के मामले

* **पूरे उत्पाद के लिए एक मॉडल** — chat, coding और reasoning के लिए तीन डिप्लॉयमेंट्स की ज़रूरत नहीं
* **दस्तावेज़ और छवि निष्कर्षण** — विज़न और 256K संदर्भ लंबे स्कैन किए गए दस्तावेज़ों को संभालते हैं
* **कम बजट में कोडिंग एजेंट** — Devstral की परंपरा, प्रति टोकन 6.5B सक्रिय पैरामीटर के साथ
* **लेटेंसी-स्तरीकृत सर्विंग** — `reasoning_effort: none` तेज़ पथ के लिए, `उच्च` कठिन पथ के लिए, वही एंडपॉइंट
* **वाणिज्यिक उत्पाद** — Apache 2.0, कोई राजस्व शर्त नहीं, कोई क्षेत्रीय प्रतिबंध नहीं

***

## समस्या निवारण

| समस्या                         | ठीक करें                                                                                                                      |
| ------------------------------ | ----------------------------------------------------------------------------------------------------------------------------- |
| vLLM टोकनाइज़र त्रुटियाँ       | Mistral मॉडल्स को चाहिए `--tokenizer-mode mistral --config-format mistral --load-format mistral`                              |
| 256K पर OOM                    | KV कैश, न कि वज़न — कम करें `--max-model-len`                                                                                 |
| Reasoning कभी ट्रिगर नहीं होता | `reasoning_effort` प्रति अनुरोध है; जाँचें कि आपका क्लाइंट forward करता है `extra_body`                                       |
| 2 कार्ड पर पहला टोकन धीमा      | PCIe के पार layer-split GGUF विलंब बढ़ाता है; x8/x16 लिंक वाले रिग्स को प्राथमिकता दें                                        |
| NVFP4 बिल्ड लोड होने में विफल  | Blackwell की आवश्यकता है — देखें [CUDA और PyTorch संगतता](/guides/guides_v2-hi/getting-started/cuda-pytorch-compatibility.md) |

***

## अगले चरण

* **छोटा भाई-बहन:** [Mistral Small 3.1](/guides/guides_v2-hi/language-models/mistral-small.md) — 24B dense, एक कार्ड
* **बड़ा भाई-बहन:** [Mistral Large 3](/guides/guides_v2-hi/language-models/mistral-large3.md) — 675B MoE
* **Dense विकल्प:** [Qwen3.8-27B](/guides/guides_v2-hi/language-models/qwen38-27b.md) — 27B, एक कार्ड, Apache 2.0
* **इसे fine-tune करें:** [Unsloth](/guides/guides_v2-hi/training/unsloth-finetune.md) · [LLaMA-Factory](/guides/guides_v2-hi/training/llama-factory.md)

### लिंक्स

* [Hugging Face पर Mistral Small 4](https://huggingface.co/mistralai/Mistral-Small-4-119B-2603) · [GGUF](https://huggingface.co/unsloth/Mistral-Small-4-119B-2603-GGUF)
* [Mistral की घोषणा](https://mistral.ai/news/mistral-small-4/)
* **GPU किराये पर लें:** [RTX 4090](https://clore.ai/rent-4090.html) · [RTX 5090](https://clore.ai/rent-5090.html) · [मार्केटप्लेस](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-small4.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.