अवलोकन

CLORE.AI GPUs पर इन्फरेंस और चैट अनुप्रयोगों के लिए बड़े भाषा मॉडल (LLMs) चलाएँ।

लोकप्रिय टूल्स

टूल	उपयोग का मामला	कठिनाई
Ollama	सबसे आसान LLM सेटअप	शुरुआती
वेबUI खोलें	ChatGPT जैसी इंटरफ़ेस	शुरुआती
vLLM	उच्च-थ्रूपुट उत्पादन सेवा	मध्यम
Llama.cpp सर्वर	कुशल GGUF इन्फरेंस	आसान
Text Generation WebUI	पूर्ण-विशेषताओं वाली चैट UI	आसान
ExLlamaV2	सबसे तेज़ EXL2 इन्फरेंस	मध्यम
LocalAI	OpenAI-अनुकूल API	मध्यम

मॉडल गाइड्स

मॉडल	पैरामीटर	उत्तम हेतु
DeepSeek-V3	671B MoE	तर्क, कोड, गणित
Qwen2.5	0.5B-72B	बहुभाषी, कोड
Mistral/Mixtral	7B / 8x7B	सामान्य प्रयोजन
DeepSeek Coder	6.7B-33B	कोड जनरेशन
CodeLlama	7B-34B	कोड पूरा करना
Gemma 2	2B-27B	कुशल इन्फरेंस
Phi-4	14B	छोटा पर सक्षम

GPU अनुशंसाएँ

मॉडल आकार	न्यूनतम GPU	अनुशंसित
7B (Q4)	RTX 3060 12GB	RTX 3090
13B (Q4)	RTX 3090 24GB	RTX 4090
34B (Q4)	2x RTX 3090	A100 40GB
70B (Q4)	A100 80GB	2x A100

क्वांटाइज़ेशन गाइड

फ़ॉर्मेट	VRAM उपयोग	गुणवत्ता	स्पीड
Q2_K	न्यूनतम	खराब	सबसे तेज
Q4_K_M	कम	अच्छा	तेज़
Q5_K_M	मध्यम	बहुत अच्छा	मध्यम
Q8_0	उच्च	उत्कृष्ट	धीमा
FP16	अत्यधिक	सर्वोत्तम	सबसे धीमा

इन्हें भी देखें

• प्रशिक्षण और फाइन-ट्यूनिंग

• विज़न-भाषा मॉडल