Mistral Small 4 (119B MoE, 6.5B Active)

Clore.ai मार्केटप्लेस से दो कंज़्यूमर GPU पर Mistral Small 4 (119B MoE, 6.5B active) डिप्लॉय करें — Apache 2.0, 256K संदर्भ, और एक ही मॉडल में विज़न तथा रीजनिंग

स्थिति (अगस्त 2026): Mistral जारी किया गया Small 4 को 16 मार्च 2026 के अंतर्गत Apache 2.0. वज़न: mistralai/Mistral-Small-4-119B-2603. कुल 119B पैरामीटर, जिनमें केवल 6.5B सक्रिय हैं (128 विशेषज्ञ, प्रति टोकन 4 सक्रिय), 256K संदर्भ, मूल विज़न, और प्रति-रिक्वेस्ट reasoning टॉगल। यह Mistral की पिछली तीन लाइनें — Instruct, Magistral reasoning और Devstral coding — को एक ही चेकपॉइंट में समेट देता है।

"Small" पैरामीटर गिनती के हिसाब से भ्रामक नाम है और लागत के हिसाब से बिल्कुल सही। केवल प्रति टोकन 6.5B पैरामीटर सक्रिय होते हैं, इसलिए डिकोड गति 7B मॉडल जैसी लगती है, जबकि गुणवत्ता 119B पूल से आती है। Q2 में क्वांटाइज़ करने पर यह 40GB — दो RTX 4090, जिनके लिए Clore.ai मार्केटप्लेस में 322 सर्वरों के बराबर खाली क्षमता है। Q3–Q4 पर यह 54–59GB है, जो दो RTX 5090 पर आराम से चल जाता है।

अगर आप एक ऐसा ओपन मॉडल चाहते हैं जो आसान प्रॉम्प्ट्स पर तुरंत जवाब दे, कहने पर गहराई से सोचे, इमेजें पढ़े, और कोड लिखे, तो फिलहाल यह उस हार्डवेयर के लिए सबसे अच्छा विकल्प है जिसे आप सचमुच मिनट के हिसाब से किराये पर ले सकते हैं।

मुख्य विनिर्देश

गुण	मान
पैरामीटर	कुल 119B, 6.5B सक्रिय (128 विशेषज्ञ, 4 सक्रिय)
मोडैलिटी	टेक्स्ट + इमेज इन → टेक्स्ट आउट
संदर्भ	262,144 टोकन (256K)
लाइसेंस	Apache 2.0
रिलीज़ तिथि	16 मार्च 2026
वज़न	आधिकारिक ~242GB · Q3_K_M GGUF 54GB · Q2_K_XL GGUF 40GB
तर्क	reasoning_effort: none (तुरंत) या उच्च (परीक्षण-समय गणना)
मुख्य टूलिंग	vLLM, llama.cpp, Transformers

---

आवश्यकताएँ

बिल्ड	आकार	Clore.ai सेटअप
UD-IQ1_M	32GB	1× RTX PRO 6000 96GB, या 2× RTX 4090
UD-Q2_K_XL	40GB	2× RTX 4090 / 3090 (48GB) — ≥48GB पर 322 सर्वर खाली
UD-Q3_K_M	54GB	2× RTX 5090 (64GB)
UD-IQ4_NL	59GB	2× RTX 5090 (64GB)
आधिकारिक चेकपॉइंट	~242GB	8× RTX 5090 (248GB)

KV कैश के लिए अतिरिक्त जगह रखें: 256K संदर्भ पर, इतनी विरल MoE होने पर भी यह काफी बड़ा होता है। 32–64K से शुरू करें और वास्तविक उपयोग दिखने पर इसे बढ़ाएँ।

---

llama.cpp के साथ डिप्लॉय करें (दो उपभोक्ता कार्ड)

huggingface-cli download unsloth/Mistral-Small-4-119B-2603-GGUF \
  --include "*UD-Q2_K_XL*" --local-dir /workspace/ms4

llama-server -m /workspace/ms4/*UD-Q2_K_XL*-00001-of-*.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 999 --split-mode layer \
  -c 65536 --flash-attn

vLLM के साथ डिप्लॉय करें

vllm serve mistralai/Mistral-Small-4-119B-2603 \
  --tensor-parallel-size 8 \\
  --tokenizer-mode mistral \
  --config-format mistral \
  --load-format mistral \
  --max-model-len 262144 \
  --enable-expert-parallel

एक आधिकारिक NVFP4 बिल्ड (mistralai/Mistral-Small-4-119B-2603-NVFP4) Blackwell कार्ड्स को लक्षित करता है — RTX 50-सीरीज़ और RTX PRO 6000 रिग्स पर उपयोगी।

मांग पर reasoning

client.chat.completions.create(
    model="mistral-small-4",
    messages=[{"role": "user", "content": "इस शेड्यूलर में डेडलॉक खोजें."}],
    extra_body={"reasoning_effort": "high"},   # तुरंत जवाबों के लिए "none"
    temperature=0.7,                            # reasoning बंद होने पर 0.0–0.7
)

Mistral reasoning चालू होने पर temperature 0.7 की सिफारिश करता है। reasoning बंद होने पर, आउटपुट कितनी हद तक deterministic चाहिए, उसके अनुसार 0.0 और 0.7 के बीच रहें।

---

Clore.ai GPU अनुशंसाएँ

सेटअप	VRAM	बिल्ड	संदर्भ	Clore.ai लागत
2× RTX 4090	48GB	Q2_K_XL	~64K	$0.28–0.84/hr
2× RTX 3090	48GB	Q2_K_XL	~64K	$0.14–0.42/hr
2× RTX 5090	64GB	Q3_K_M / IQ4_NL	~96K	$0.50–1.54/hr
1× RTX PRO 6000	96GB	Q3_K_M, एकल कार्ड	~131K	$0.92–1.38/hr
8× RTX 5090	248GB	आधिकारिक चेकपॉइंट	पूरा 256K	~$2.00–3.50/hr

RTX 3090 की एक जोड़ी सबसे किफायती विकल्प है — कुल लगभग $0.14–0.42/घंटा में 48GB VRAM, 119B मॉडल चलाते हुए। उपयोग करें आंशिक GPU किराये ताकि आप समर्पित dual-3090 बॉक्स ढूँढने के बजाय बड़े रिग से दो कार्ड ले सकें।

---

उपयोग के मामले

• पूरे उत्पाद के लिए एक मॉडल — chat, coding और reasoning के लिए तीन डिप्लॉयमेंट्स की ज़रूरत नहीं

• दस्तावेज़ और छवि निष्कर्षण — विज़न और 256K संदर्भ लंबे स्कैन किए गए दस्तावेज़ों को संभालते हैं

• कम बजट में कोडिंग एजेंट — Devstral की परंपरा, प्रति टोकन 6.5B सक्रिय पैरामीटर के साथ

• लेटेंसी-स्तरीकृत सर्विंग — reasoning_effort: none तेज़ पथ के लिए, उच्च कठिन पथ के लिए, वही एंडपॉइंट

• वाणिज्यिक उत्पाद — Apache 2.0, कोई राजस्व शर्त नहीं, कोई क्षेत्रीय प्रतिबंध नहीं

---

समस्या निवारण

समस्या	ठीक करें
vLLM टोकनाइज़र त्रुटियाँ	Mistral मॉडल्स को चाहिए --tokenizer-mode mistral --config-format mistral --load-format mistral
256K पर OOM	KV कैश, न कि वज़न — कम करें --max-model-len
Reasoning कभी ट्रिगर नहीं होता	reasoning_effort प्रति अनुरोध है; जाँचें कि आपका क्लाइंट forward करता है extra_body
2 कार्ड पर पहला टोकन धीमा	PCIe के पार layer-split GGUF विलंब बढ़ाता है; x8/x16 लिंक वाले रिग्स को प्राथमिकता दें
NVFP4 बिल्ड लोड होने में विफल	Blackwell की आवश्यकता है — देखें CUDA और PyTorch संगतता

---

अगले चरण

• छोटा भाई-बहन: Mistral Small 3.1 — 24B dense, एक कार्ड

• बड़ा भाई-बहन: Mistral Large 3 — 675B MoE

• Dense विकल्प: Qwen3.8-27B — 27B, एक कार्ड, Apache 2.0

• इसे fine-tune करें: Unsloth · LLaMA-Factory

लिंक्स

• Hugging Face पर Mistral Small 4 · GGUF

• Mistral की घोषणा

• GPU किराये पर लें: RTX 4090 · RTX 5090 · मार्केटप्लेस