GLM-5.2 (MIT, 1M संदर्भ)
Clore.ai मार्केटप्लेस से एक बड़े मल्टी-GPU रिग पर GLM-5.2 चलाएँ, जो Z.ai का MIT-लाइसेंस वाला 1M-कॉन्टेक्स्ट कोडिंग फ्लैगशिप है
GLM-5.1 पहले ही सॉफ्टवेयर इंजीनियरिंग में मात देने वाला ओपन मॉडल था। GLM-5.2 Terminal-Bench 2.1 को 63.5 से बढ़ाकर 81.0 और SWE-bench Pro को 58.4 से बढ़ाकर 62.1, और यह MIT लाइसेंस के साथ करता है, जबकि बाकी फ्रंटियर कस्टम शर्तों और राजस्व-गेट्स की ओर बढ़ गया।
समस्या इसका आकार है। FP8 चेकपॉइंट 756GBहै। यह एक-सिंगल-कार्ड मॉडल नहीं है और कभी नहीं होगा। Clore.ai पर इसे दिलचस्प बनाने वाली बात यह है कि क्वांटाइज़्ड बिल्ड्स बाज़ार में सबसे बड़े रिग्स की सीमा के भीतर आ जाती हैं।
मुख्य विनिर्देश
पैरामीटर
~750B कुल, ~40B सक्रिय (MoE)
आर्किटेक्चर
78 परतें, 256 रूट किए गए विशेषज्ञ, टोकन प्रति 8 सक्रिय, IndexShare स्पार्स-अटेंशन, MTP
संदर्भ
1,000,000 टोकन
लाइसेंस
MIT
रिलीज़ तिथि
13 जून 2026
वज़न
FP8 756GB · Q2_K_XL GGUF 254GB · IQ1_S GGUF 217GB
मुख्य टूलिंग
SGLang ≥ 0.5.13.post1, vLLM ≥ 0.23.0, llama.cpp
GLM-5.1 की तुलना में नया क्या है
मज़बूत 1M संदर्भ — कोई सुर्ख़ियों वाला आंकड़ा नहीं, बल्कि ऐसा दायरा जो लंबे-क्षितिज के काम में भी टिकता है
IndexShare — हर चार स्पार्स-अटेंशन परतों में एक ही इंडेक्सर का पुनः उपयोग, जिससे प्रति-टोकन FLOPs में कमी आती है 1M संदर्भ पर 2.9×
बेहतर MTP — speculative-decoding acceptance length में अधिकतम 20% की बढ़ोतरी
लचीला चिंतन-प्रयास — विलंबता और प्रति अनुरोध गहराई के बीच संतुलन
फिर भी MIT — वज़नों पर कोई उपयोग-प्रतिबंध नहीं है
आवश्यकताएँ
इस मॉडल को रिग चाहिए, कार्ड नहीं। 756GB का FP8 Clore.ai मार्केटप्लेस की हर मशीन से बड़ा है। सबसे बड़े सूचीबद्ध बॉक्स 4× RTX PRO 6000 Blackwell (380GB) और 10–11× RTX 5090 (310–341GB) हैं। यहाँ केवल क्वांटाइज़्ड GGUF ही रास्ता है; पूर्ण-परिशुद्धता सर्विंग के लिए bare metal.
UD-IQ1_S
217GB
8× RTX 5090 (248GB) — ≥242GB पर 47 सर्वर सूचीबद्ध हैं
UD-IQ2_M
239GB
8× RTX 5090, बहुत कसा हुआ
UD-Q2_K_XL
254GB
10× RTX 5090 (310GB) या 4× RTX PRO 6000 (380GB)
UD-Q3_K_M
343GB
केवल 4× RTX PRO 6000 (380GB) — ऐसे 2 सर्वर सूचीबद्ध हैं
UD-IQ4_XS
365GB
4× RTX PRO 6000, कोई अतिरिक्त जगह नहीं
कार्यशील संदर्भ लंबाइयों पर KV कैश और activations के लिए वज़न आकार के ऊपर 10–15% जोड़ें, और सिस्टम RAM जाँचें: लोड के दौरान वज़नों को स्टेज करने के लिए इन रिग्स को पर्याप्त RAM चाहिए।
मल्टी-GPU रिग पर llama.cpp के साथ डिप्लॉय करें
मार्केटप्लेस हार्डवेयर पर यथार्थवादी रास्ता। 10× RTX 5090 रिग किराए पर लें (लगभग $5.00/hr पिछले स्नैपशॉट में) और मॉडल को सभी कार्डों में बाँट दें:
vLLM या SGLang के साथ डिप्लॉय करें (FP8, समर्पित हार्डवेयर)
अगर आपके पास क्षमता है — बेयर मेटल, या अपना क्लस्टर — Z.ai दोनों इंजनों को सीधे सपोर्ट करता है:
अन्य स्टैक्स के लिए तैयार-शुदा क्वांटाइज़्ड चेकपॉइंट: nvidia/GLM-5.2-NVFP4 Blackwell के लिए, cyankiwi/GLM-5.2-AWQ-INT4 AWQ स्टैक्स के लिए, amd/GLM-5.2-MXFP4 Instinct के लिए।
Clore.ai GPU अनुशंसाएँ
8× RTX 5090
248GB
IQ1_S / IQ2_M
~$2.00–3.50/घंटा
10× RTX 5090
310GB
Q2_K_XL
~$5.00/घंटा
4× RTX PRO 6000 Blackwell
380GB
Q2_K_XL या Q3_K_M
~$5.00/घंटा
इस आकार के बस कुछ ही रिग किसी भी समय मौजूद होते हैं — ≥242GB पर 47 सर्वर, जिनमें से 9 आख़िरी स्नैपशॉट में मुफ़्त थे। किसी एक पर योजना बनाने से पहले मार्केटप्लेस जाँचें।
बेंचमार्क
Z.ai के अपने मॉडल कार्ड से (13 जून 2026)। कोडिंग सुइट्स के लिए स्वतंत्र पुनरुत्पादन मौजूद हैं; तर्क संबंधी संख्याओं को विक्रेता-रिपोर्टेड मानें।
Terminal-Bench 2.1 (Terminus-2)
81.0
63.5
64
65
Terminal-Bench 2.1 (सर्वोत्तम हार्नेस)
82.7
69
—
—
SWE-bench Pro
62.1
58.4
55.4
59
NL2Repo
48.9
42.7
35.5
42.1
DeepSWE
46.2
18
8
20
HLE
40.5
31
37.7
37
AIME 2026
99.2
95.3
94.6
—
GPQA-Diamond
91.2
86.2
90.1
93
उपयोग के मामले
स्वायत्त कोडिंग एजेंट — Terminal-Bench और DeepSWE में छलांगें बिल्कुल वही दीर्घकालिक व्यवहार हैं जिनकी एजेंटों को ज़रूरत होती है
पूरे रिपॉजिटरी पर तर्क — 1M संदर्भ, स्पार्स-अटेंशन के साथ जो लंबाई बढ़ने पर भी किफायती रहता है
माइग्रेशन और रिफैक्टर कार्य — NL2Repo एक स्पेक से रिपॉजिटरी बनाने को मापता है, और GLM-5.2 खुले क्षेत्र में आगे है
बंद फ्रंटियर APIs का स्व-होस्टेड विकल्प — MIT का मतलब है कि आप इसे किसी उत्पाद के भीतर शिप कर सकते हैं
बैच मूल्यांकन हार्नेस — एक बड़े रिग को मिनट के हिसाब से किराए पर लें, स्वीप चलाएँ, ऑर्डर बंद करें
समस्या निवारण
डाउनलोड में बहुत समय लगता है
Q2 पर 254GB — उच्च-बैंडविड्थ सर्वरों के लिए मार्केटप्लेस फ़िल्टर करें और उपयोग करें --include एक ही क्वांट लेने के लिए
GPU में बाँटकर OOM
--split-mode layer llama.cpp में; vLLM में बढ़ाएँ --tensor-parallel-size को GPU की पूरी संख्या तक
पहला टोकन मिनट लेता है
हटा दें --mmap, मॉडल को स्थानीय NVMe पर रखें, और छोटे प्रॉम्प्ट से पहले से गर्म करें
vLLM कॉन्फ़िगरेशन अस्वीकार करता है
≥ 0.23.0 चाहिए; SGLang को ≥ 0.5.13.post1 चाहिए
IQ1 पर गुणवत्ता ठीक नहीं लगती
यह 750B मॉडल का 1-bit बिल्ड है। अगर रिग अनुमति दे तो Q2_K_XL या उससे ऊपर जाएँ
डाउनलोड के बीच में रिग गायब हो जाता है
किसी और ने इसे किराए पर ले लिया। लंबे सेटअप काम के लिए spot की बजाय on-demand का उपयोग करें
अगले चरण
पूर्ववर्ती: GLM-5.1 — अप्रैल की 744B रिलीज़
इसके बजाय एक ही कार्ड पर फिट होता है: Qwen3.8-27B — Apache 2.0, Q4 पर 15GB
उसी वज़न वर्ग में: MiniMax M3 · Nemotron 3 Ultra · DeepSeek V4
रिग आकार निर्धारण: GPU मूल्य और उपलब्धता · मल्टी-GPU सेटअप
लिंक्स
GPU किराये पर लें: RTX 5090 · मार्केटप्लेस · बेयर मेटल
अंतिम अपडेट
क्या यह उपयोगी था?