Mistral Large 3 (675B MoE)
Clore.ai GPUs पर Mistral Large 3 चलाएँ — 41B सक्रिय पैरामीटर वाला 675B MoE फ्रंटियर मॉडल
Mistral Large 3, Mistral AI का सबसे शक्तिशाली ओपन-वेट मॉडल है, जिसे दिसंबर 2025 में के तहत जारी किया गया Apache 2.0 लाइसेंसयह एक Mixture-of-Experts (MoE) मॉडल है, जिसमें कुल 675B पैरामीटर हैं, लेकिन प्रति टोकन केवल 41B सक्रिय होते हैं — dense 675B मॉडल की तुलना में बहुत कम compute पर frontier-स्तरीय प्रदर्शन देता है। native multimodal सपोर्ट (text + images), 256K context window, और best-in-class agentic क्षमताओं के साथ, यह GPT-4o और Claude-श्रेणी के मॉडलों से सीधे प्रतिस्पर्धा करता है, जबकि पूरी तरह self-hostable है।
HuggingFace: mistralai/Mistral-Large-3-675B-Instruct-2512 Ollama: mistral-large-3:675b लाइसेंस: Apache 2.0
मुख्य विशेषताएँ
675B कुल / 41B सक्रिय पैरामीटर — MoE की दक्षता का मतलब है कि आपको हर पैरामीटर सक्रिय किए बिना frontier-स्तरीय प्रदर्शन मिलता है
Apache 2.0 लाइसेंस — व्यावसायिक और व्यक्तिगत उपयोग के लिए पूरी तरह खुला, कोई प्रतिबंध नहीं
मूल रूप से मल्टीमॉडल — 2.5B vision encoder के माध्यम से text और images दोनों को समझता है
256K कॉन्टेक्स्ट विंडो — विशाल दस्तावेज़ों, codebases, और लंबी बातचीत को संभालता है
सर्वोत्तम-श्रेणी की एजेंटिक क्षमताएँ — native function calling, JSON mode, tool use
कई परिनियोजन विकल्प — H200/B200 पर FP8, H100/A100 पर NVFP4, consumer GPUs के लिए GGUF quantized
मॉडल आर्किटेक्चर
आर्किटेक्चर
Granular Mixture-of-Experts (MoE)
कुल पैरामीटर
675B
सक्रिय पैरामीटर
41B (प्रति टोकन)
विज़न एनकोडर
2.5B पैरामीटर
संदर्भ विंडो
256K टोकन
प्रशिक्षण
3,000× H200 GPUs
रिलीज़
दिसंबर 2025
आवश्यकताएँ
GPU
4× RTX 4090
8× A100 80GB
8× H100/H200
VRAM
4×24GB (96GB)
8×80GB (640GB)
8×80GB (640GB)
RAM
128GB
256GB
256GB
डिस्क
400GB
700GB
1.4TB
CUDA
12.8+
12.8+
12.8+
अनुशंसित Clore.ai सेटअप:
सबसे अच्छा मूल्य: 4× RTX 4090 ($0.56–1.68/hr) — llama.cpp या Ollama के माध्यम से Q4 GGUF quantization चलाएँ
प्रोडक्शन-स्तर गुणवत्ता: 8× A100 80GB (bare metal) — vLLM के माध्यम से full context के साथ NVFP4
अधिकतम प्रदर्शन: 8× H100 (~$8.32/hr) — FP8, पूर्ण 256K context
Ollama के साथ त्वरित शुरुआत
multi-GPU Clore.ai instance पर Mistral Large 3 चलाने का सबसे तेज़ तरीका:
vLLM के साथ त्वरित शुरुआत (प्रोडक्शन)
OpenAI-संगत API के साथ production-grade serving के लिए:
उपयोग के उदाहरण
1. चैट पूर्णता (OpenAI-संगत API)
एक बार vLLM चलने लगे, तो किसी भी OpenAI-संगत client का उपयोग करें:
2. फ़ंक्शन कॉलिंग / टूल उपयोग
Mistral Large 3 संरचित tool calling में उत्कृष्ट है:
3. विज़न — छवि विश्लेषण
Mistral Large 3 मूल रूप से images को समझता है:
Clore.ai उपयोगकर्ताओं के लिए सुझाव
A100s पर NVFP4 से शुरू करें — यह
Mistral-Large-3-675B-Instruct-2512-NVFP4चेकपॉइंट विशेष रूप से A100/H100 नोड्स के लिए डिज़ाइन किया गया है और FP8 की आधी मेमोरी फुटप्रिंट पर लगभग-लॉसलेस गुणवत्ता प्रदान करता है।त्वरित प्रयोगों के लिए Ollama का उपयोग करें — यदि आपके पास 4× RTX 4090 instance है, तो Ollama GGUF quantization को अपने आप संभालता है। vLLM production setup पर जाने से पहले testing के लिए बिल्कुल उपयुक्त।
API को सुरक्षित रूप से एक्सपोज़ करें — जब Clore.ai instance पर vLLM चला रहे हों, तो SSH tunneling (
ssh -L 8000:localhost:8000 root@<ip>) का उपयोग करें, बजाय port 8000 को सीधे expose करने के।कम करें
max-model-lenVRAM बचाने के लिए — यदि आपको पूर्ण 256K context की आवश्यकता नहीं है, तो सेट करें--max-model-len 32768या65536KV-cache memory usage को काफी कम करने के लिए।सघन विकल्पों पर विचार करें — single-GPU setups के लिए, Mistral 3 14B (
mistral3:14bOllama में) एक single RTX 4090 पर उत्कृष्ट प्रदर्शन देता है और उसी model family से है।
समस्या निवारण
CUDA out of memory vLLM पर
कम करें --max-model-len (32768 आज़माएँ), बढ़ाएँ --tensor-parallel-sizeया NVFP4 checkpoint का उपयोग करें
जनरेशन की गति धीमी है
सुनिश्चित करें --tensor-parallel-size आपकी GPU count से मेल खाता है; Eagle checkpoint के साथ speculative decoding सक्षम करें
Ollama 675B लोड करने में विफल
सुनिश्चित करें कि GPUs के बीच कुल 96GB+ VRAM है; Ollama को OLLAMA_NUM_PARALLEL=1 बड़े मॉडलों के लिए
tokenizer_mode mistral त्रुटियाँ
आपको तीनों flags पास करने होंगे: --tokenizer-mode mistral --config-format mistral --load-format mistral
विज़न काम नहीं कर रहा
सर्वोत्तम परिणामों के लिए सुनिश्चित करें कि images का aspect ratio 1:1 के करीब हो; बहुत चौड़ी/पतली images से बचें
डाउनलोड बहुत धीमा है
उपयोग करें huggingface-cli download mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4 के साथ HF_TOKEN सेट करें
अधिक पढ़ें
Mistral 3 घोषणा ब्लॉग — benchmarks के साथ आधिकारिक लॉन्च पोस्ट
HuggingFace मॉडल कार्ड — परिनियोजन निर्देश और benchmark परिणाम
NVFP4 क्वांटाइज़्ड संस्करण — A100/H100 के लिए अनुकूलित
GGUF क्वांटाइज़्ड (Unsloth) — llama.cpp और Ollama के लिए
vLLM प्रलेखन — प्रोडक्शन सर्विंग फ्रेमवर्क
Red Hat Day-0 मार्गदर्शिका — चरण-दर-चरण vLLM परिनियोजन
अंतिम अपडेट
क्या यह उपयोगी था?