For the complete documentation index, see llms.txt. This page is also available as Markdown.

Mistral Large 3 (675B MoE)

Clore.ai GPUs पर Mistral Large 3 चलाएँ — 41B सक्रिय पैरामीटर वाला 675B MoE फ्रंटियर मॉडल

Mistral Large 3, Mistral AI का सबसे शक्तिशाली ओपन-वेट मॉडल है, जिसे दिसंबर 2025 में के तहत जारी किया गया Apache 2.0 लाइसेंसयह एक Mixture-of-Experts (MoE) मॉडल है, जिसमें कुल 675B पैरामीटर हैं, लेकिन प्रति टोकन केवल 41B सक्रिय होते हैं — dense 675B मॉडल की तुलना में बहुत कम compute पर frontier-स्तरीय प्रदर्शन देता है। native multimodal सपोर्ट (text + images), 256K context window, और best-in-class agentic क्षमताओं के साथ, यह GPT-4o और Claude-श्रेणी के मॉडलों से सीधे प्रतिस्पर्धा करता है, जबकि पूरी तरह self-hostable है।

HuggingFace: mistralai/Mistral-Large-3-675B-Instruct-2512 Ollama: mistral-large-3:675b लाइसेंस: Apache 2.0

मुख्य विशेषताएँ

  • 675B कुल / 41B सक्रिय पैरामीटर — MoE की दक्षता का मतलब है कि आपको हर पैरामीटर सक्रिय किए बिना frontier-स्तरीय प्रदर्शन मिलता है

  • Apache 2.0 लाइसेंस — व्यावसायिक और व्यक्तिगत उपयोग के लिए पूरी तरह खुला, कोई प्रतिबंध नहीं

  • मूल रूप से मल्टीमॉडल — 2.5B vision encoder के माध्यम से text और images दोनों को समझता है

  • 256K कॉन्टेक्स्ट विंडो — विशाल दस्तावेज़ों, codebases, और लंबी बातचीत को संभालता है

  • सर्वोत्तम-श्रेणी की एजेंटिक क्षमताएँ — native function calling, JSON mode, tool use

  • कई परिनियोजन विकल्प — H200/B200 पर FP8, H100/A100 पर NVFP4, consumer GPUs के लिए GGUF quantized

मॉडल आर्किटेक्चर

घटक
विवरण

आर्किटेक्चर

Granular Mixture-of-Experts (MoE)

कुल पैरामीटर

675B

सक्रिय पैरामीटर

41B (प्रति टोकन)

विज़न एनकोडर

2.5B पैरामीटर

संदर्भ विंडो

256K टोकन

प्रशिक्षण

3,000× H200 GPUs

रिलीज़

दिसंबर 2025

आवश्यकताएँ

कॉन्फ़िगरेशन
बजट (Q4 GGUF)
मानक (NVFP4)
पूर्ण (FP8)

GPU

4× RTX 4090

8× A100 80GB

8× H100/H200

VRAM

4×24GB (96GB)

8×80GB (640GB)

8×80GB (640GB)

RAM

128GB

256GB

256GB

डिस्क

400GB

700GB

1.4TB

CUDA

12.8+

12.8+

12.8+

अनुशंसित Clore.ai सेटअप:

  • सबसे अच्छा मूल्य: 4× RTX 4090 ($0.56–1.68/hr) — llama.cpp या Ollama के माध्यम से Q4 GGUF quantization चलाएँ

  • प्रोडक्शन-स्तर गुणवत्ता: 8× A100 80GB (bare metal) — vLLM के माध्यम से full context के साथ NVFP4

  • अधिकतम प्रदर्शन: 8× H100 (~$8.32/hr) — FP8, पूर्ण 256K context

Ollama के साथ त्वरित शुरुआत

multi-GPU Clore.ai instance पर Mistral Large 3 चलाने का सबसे तेज़ तरीका:

vLLM के साथ त्वरित शुरुआत (प्रोडक्शन)

OpenAI-संगत API के साथ production-grade serving के लिए:

उपयोग के उदाहरण

1. चैट पूर्णता (OpenAI-संगत API)

एक बार vLLM चलने लगे, तो किसी भी OpenAI-संगत client का उपयोग करें:

2. फ़ंक्शन कॉलिंग / टूल उपयोग

Mistral Large 3 संरचित tool calling में उत्कृष्ट है:

3. विज़न — छवि विश्लेषण

Mistral Large 3 मूल रूप से images को समझता है:

Clore.ai उपयोगकर्ताओं के लिए सुझाव

  1. A100s पर NVFP4 से शुरू करें — यह Mistral-Large-3-675B-Instruct-2512-NVFP4 चेकपॉइंट विशेष रूप से A100/H100 नोड्स के लिए डिज़ाइन किया गया है और FP8 की आधी मेमोरी फुटप्रिंट पर लगभग-लॉसलेस गुणवत्ता प्रदान करता है।

  2. त्वरित प्रयोगों के लिए Ollama का उपयोग करें — यदि आपके पास 4× RTX 4090 instance है, तो Ollama GGUF quantization को अपने आप संभालता है। vLLM production setup पर जाने से पहले testing के लिए बिल्कुल उपयुक्त।

  3. API को सुरक्षित रूप से एक्सपोज़ करें — जब Clore.ai instance पर vLLM चला रहे हों, तो SSH tunneling (ssh -L 8000:localhost:8000 root@<ip>) का उपयोग करें, बजाय port 8000 को सीधे expose करने के।

  4. कम करें max-model-len VRAM बचाने के लिए — यदि आपको पूर्ण 256K context की आवश्यकता नहीं है, तो सेट करें --max-model-len 32768 या 65536 KV-cache memory usage को काफी कम करने के लिए।

  5. सघन विकल्पों पर विचार करें — single-GPU setups के लिए, Mistral 3 14B (mistral3:14b Ollama में) एक single RTX 4090 पर उत्कृष्ट प्रदर्शन देता है और उसी model family से है।

समस्या निवारण

समस्या
समाधान

CUDA out of memory vLLM पर

कम करें --max-model-len (32768 आज़माएँ), बढ़ाएँ --tensor-parallel-sizeया NVFP4 checkpoint का उपयोग करें

जनरेशन की गति धीमी है

सुनिश्चित करें --tensor-parallel-size आपकी GPU count से मेल खाता है; Eagle checkpoint के साथ speculative decoding सक्षम करें

Ollama 675B लोड करने में विफल

सुनिश्चित करें कि GPUs के बीच कुल 96GB+ VRAM है; Ollama को OLLAMA_NUM_PARALLEL=1 बड़े मॉडलों के लिए

tokenizer_mode mistral त्रुटियाँ

आपको तीनों flags पास करने होंगे: --tokenizer-mode mistral --config-format mistral --load-format mistral

विज़न काम नहीं कर रहा

सर्वोत्तम परिणामों के लिए सुनिश्चित करें कि images का aspect ratio 1:1 के करीब हो; बहुत चौड़ी/पतली images से बचें

डाउनलोड बहुत धीमा है

उपयोग करें huggingface-cli download mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4 के साथ HF_TOKEN सेट करें

अधिक पढ़ें

अंतिम अपडेट

क्या यह उपयोगी था?