अवलोकन

CLORE.AI GPUs पर inference और चैट अनुप्रयोगों के लिए बड़े भाषा मॉडल (LLMs) चलाएँ।

लोकप्रिय उपकरण

टूल	उपयोग-प्रकरण	कठिनाई
Ollama	LLM सेटअप का सबसे आसान तरीका	शुरुआती
Open WebUI	ChatGPT जैसा इंटरफ़ेस	शुरुआती
vLLM	उच्च-थ्रूपुट वाला प्रोडक्शन सर्विंग	मध्यम
Llama.cpp सर्वर	कुशल GGUF इन्फ़रेंस	आसान
Text Generation WebUI	सुविधाओं से भरपूर चैट UI	आसान
ExLlamaV2	सबसे तेज़ EXL2 इन्फ़रेंस	मध्यम
LocalAI	OpenAI-संगत API	मध्यम
SGLang	तेज़ संरचित जनरेशन	मध्यम
टेक्स्ट जनरेशन इन्फ़रेंस (TGI)	HuggingFace सर्विंग समाधान	मध्यम
LMDeploy	MMlab सर्विंग टूलकिट	मध्यम
Aphrodite Engine	अतिरिक्त सुविधाओं वाला vLLM फोर्क	मध्यम
MLC-LLM	मशीन लर्निंग संकलन	कठिन
LiteLLM	एकीकृत API प्रॉक्सी	मध्यम
PowerInfer	स्पार्स मॉडल इन्फ़रेंस	कठिन
Mistral.rs	Rust-आधारित इन्फ़रेंस इंजन	मध्यम

मॉडल गाइड

नवीनतम और सर्वश्रेष्ठ मॉडल

मॉडल	पैरामीटर	लाइसेंस	इस पर फिट बैठता है
Qwen3.8-27B	27B dense	Apache 2.0	1× RTX 4090 (Q4)
Mistral Small 4	119B / 6.5B सक्रिय	Apache 2.0	2× RTX 4090 (Q2)
GLM-5.2	~750B / 40B सक्रिय	MIT	10× RTX 5090 (Q2)
DeepSeek V4	Flash 167GB · Pro 893GB	MIT	6–8× RTX 5090 (Flash)
MiniMax M3	428B / 23B सक्रिय	minimax-community	6–8× RTX 5090 (Q2–Q3)
Nemotron 3 Ultra	550B / 55B सक्रिय	OpenMDW-1.1	4× RTX PRO 6000 (NVFP4)
Kimi K3	2.8T	Kimi K3 लाइसेंस	मार्केटप्लेस पर कुछ नहीं
GLM-5.1	744B / 40B सक्रिय	MIT	बड़े रिग्स
Llama 4	Scout & Maverick	Llama समुदाय	1× RTX 4090 (Scout Q4)
DeepSeek-R1	671B MoE	MIT	बड़े रिग्स
Qwen2.5	0.5B–72B	Apache 2.0	कोई भी कार्ड

विशेषीकृत मॉडल

मॉडल	पैरामीटर	किसके लिए सर्वोत्तम
DeepSeek Coder	6.7B-33B	कोड जनरेशन
CodeLlama	7B-34B	कोड पूर्णता
GLM-4.7-Flash	4.7B	तेज़ चीनी/अंग्रेज़ी
GLM-5	जल्द घोषित किया जाएगा	Zhipu AI का नवीनतम
Kimi K2.5	जल्द घोषित किया जाएगा	Moonshot AI मॉडल
Ling-2.5-1T	1T	विशाल ओपन-सोर्स LLM
LFM2-24B	24B	Liquid AI मॉडल
MiMo-V2-Flash	जल्द घोषित किया जाएगा	तेज़ इन्फ़रेंस मॉडल

कुशल मॉडल

मॉडल	पैरामीटर	किसके लिए सर्वोत्तम
Gemma 2	2B-27B	कुशल इन्फ़रेंस
Gemma 3	जल्द घोषित किया जाएगा	Google का नवीनतम कॉम्पैक्ट
Phi-4	14B	छोटा लेकिन सक्षम
Mistral/Mixtral	7B / 8x7B	सामान्य प्रयोजन
Mistral Large 3	675B MoE	एंटरप्राइज़-स्तरीय
Mistral Small 3.1	जल्द घोषित किया जाएगा	Mistral का कुशल संस्करण

GPU सिफारिशें

Clore.ai marketplace पर multi-GPU 80GB-class rigs सूचीबद्ध नहीं हैं। आज सूचीबद्ध सबसे बड़े boxes 4× RTX PRO 6000 Blackwell (प्रत्येक 96GB, कुल 380GB) और 8–11× RTX 5090 (प्रत्येक 32GB) हैं। A100 / H200 / B200 क्षमता bare metal के रूप में अनुरोध पर बेची जाती है। देखें GPU मूल्य और उपलब्धता किसी deployment का आकार तय करने से पहले।

मॉडल आकार	न्यूनतम GPU	अनुशंसित	Clore.ai लागत
7B (Q4)	RTX 3060 12GB	RTX 3090	$0.03–0.21/घंटा
13B (Q4)	RTX 3090 24GB	RTX 4090	$0.07–0.42/घंटा
27B (Q4)	RTX 3090 24GB	RTX 4090 / 5090	$0.07–0.77/घंटा
34B (Q4)	2× RTX 3090	1× RTX 5090	$0.14–0.77/घंटा
70B (Q4)	2× RTX 5090	1× RTX PRO 6000 96GB	$0.50–1.54/hr
120B+ (Q2)	2× RTX 4090	2× RTX 5090	$0.28–1.54/घंटा
400B+ (Q2)	8× RTX 5090	4× RTX PRO 6000	~$2.00–5.00/घंटा

क्वांटाइज़ेशन गाइड

फ़ॉर्मेट	VRAM उपयोग	गुणवत्ता	गति
Q2_K	सबसे कम	खराब	सबसे तेज़
Q4_K_M	कम	अच्छा	तेज़
Q5_K_M	मध्यम	उत्कृष्ट	मध्यम
Q8_0	उच्च	उत्कृष्ट	धीमा
FP16	सर्वोच्च	सर्वोत्तम	सबसे धीमा

यह भी देखें

• प्रशिक्षण और फ़ाइन-ट्यूनिंग

• दृष्टि-भाषा मॉडल