# अवलोकन

इन्फरेंस और चैट एप्लिकेशन के लिए CLORE.AI GPUs पर बड़े भाषा मॉडल (LLMs) चलाएं।

## लोकप्रिय टूल

| उपकरण                                                                                                    | उपयोग मामला                          | कठिनाई  |
| -------------------------------------------------------------------------------------------------------- | ------------------------------------ | ------- |
| [Ollama](https://docs.clore.ai/guides/guides_v2-hi/language-models/ollama)                               | सबसे आसान LLM सेटअप                  | शुरुआती |
| [Open WebUI](https://docs.clore.ai/guides/guides_v2-hi/language-models/open-webui)                       | ChatGPT जैसी इंटरफ़ेस                | शुरुआती |
| [vLLM](https://docs.clore.ai/guides/guides_v2-hi/language-models/vllm)                                   | उच्च-थ्रूपुट production सर्विंग      | मध्यम   |
| [Llama.cpp सर्वर](https://docs.clore.ai/guides/guides_v2-hi/language-models/llamacpp-server)             | कुशल GGUF इन्फरेंस                   | आसान    |
| [Text Generation WebUI](https://docs.clore.ai/guides/guides_v2-hi/language-models/text-generation-webui) | पूर्ण-विशेषताओं वाला चैट UI          | आसान    |
| [ExLlamaV2](https://docs.clore.ai/guides/guides_v2-hi/language-models/exllamav2-fast)                    | सबसे तेज़ EXL2 इन्फरेंस              | मध्यम   |
| [LocalAI](https://docs.clore.ai/guides/guides_v2-hi/language-models/localai-openai-compatible)           | OpenAI-संगत API                      | मध्यम   |
| [SGLang](https://docs.clore.ai/guides/guides_v2-hi/language-models/sglang)                               | तेज़ संरचित जेनरेशन                  | मध्यम   |
| [Text Generation Inference (TGI)](https://docs.clore.ai/guides/guides_v2-hi/language-models/tgi)         | HuggingFace सर्विंग समाधान           | मध्यम   |
| [LMDeploy](https://docs.clore.ai/guides/guides_v2-hi/language-models/lmdeploy)                           | MMlab सर्विंग टूलकिट                 | मध्यम   |
| [Aphrodite Engine](https://docs.clore.ai/guides/guides_v2-hi/language-models/aphrodite-engine)           | अतिरिक्त विशेषताओं के साथ vLLM फोर्क | मध्यम   |
| [MLC-LLM](https://docs.clore.ai/guides/guides_v2-hi/language-models/mlc-llm)                             | मशीन लर्निंग कंपाइलेशन               | कठिन    |
| [LiteLLM](https://docs.clore.ai/guides/guides_v2-hi/language-models/litellm)                             | एकीकृत API प्रॉक्सी                  | मध्यम   |
| [PowerInfer](https://docs.clore.ai/guides/guides_v2-hi/language-models/powerinfer)                       | स्पार्स मॉडल इन्फरेंस                | कठिन    |
| [Mistral.rs](https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-rs)                       | Rust-आधारित इन्फरेंस इंजन            | मध्यम   |

## मॉडल गाइड्स

### नवीनतम और सर्वश्रेष्ठ मॉडल

| मॉडल                                                                                 | पैरामीटर          | उपयुक्तता                 |
| ------------------------------------------------------------------------------------ | ----------------- | ------------------------- |
| [DeepSeek-V3](https://docs.clore.ai/guides/guides_v2-hi/language-models/deepseek-v3) | 671B MoE          | तर्क, कोड, गणित           |
| [DeepSeek-R1](https://docs.clore.ai/guides/guides_v2-hi/language-models/deepseek-r1) | 671B MoE          | उन्नत तर्क                |
| [DeepSeek V4](https://docs.clore.ai/guides/guides_v2-hi/language-models/deepseek-v4) | शिघ्र घोषणा (TBA) | अगली पीढ़ी DeepSeek       |
| [Qwen2.5](https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen25)          | 0.5B-72B          | बहुभाषी, कोड              |
| [Qwen3.5](https://docs.clore.ai/guides/guides_v2-hi/language-models/qwen35)          | शिघ्र घोषणा (TBA) | नवीनतम Qwen जनरेशन        |
| [Llama 3.3](https://docs.clore.ai/guides/guides_v2-hi/language-models/llama33)       | 70B               | Meta का नवीनतम 70B        |
| [Llama 4](https://docs.clore.ai/guides/guides_v2-hi/language-models/llama4)          | शिघ्र घोषणा (TBA) | Scout और Maverick वेरिएंट |

### विशेषीकृत मॉडल

| मॉडल                                                                                       | पैरामीटर          | उपयुक्तता           |
| ------------------------------------------------------------------------------------------ | ----------------- | ------------------- |
| [DeepSeek Coder](https://docs.clore.ai/guides/guides_v2-hi/language-models/deepseek-coder) | 6.7B-33B          | कोड जेनरेशन         |
| [CodeLlama](https://docs.clore.ai/guides/guides_v2-hi/language-models/codellama)           | 7B-34B            | कोड पूरा करना       |
| [GLM-4.7-Flash](https://docs.clore.ai/guides/guides_v2-hi/language-models/glm-47-flash)    | 4.7B              | तेज़ चीनी/अंग्रेज़ी |
| [GLM-5](https://docs.clore.ai/guides/guides_v2-hi/language-models/glm5)                    | शिघ्र घोषणा (TBA) | Zhipu AI नवीनतम     |
| [Kimi K2.5](https://docs.clore.ai/guides/guides_v2-hi/language-models/kimi-k2)             | शिघ्र घोषणा (TBA) | Moonshot AI मॉडल    |
| [Ling-2.5-1T](https://docs.clore.ai/guides/guides_v2-hi/language-models/ling25)            | 1T                | विशाल ओपन-सोर्स LLM |
| [LFM2-24B](https://docs.clore.ai/guides/guides_v2-hi/language-models/lfm2-24b)             | 24B               | Liquid AI मॉडल      |
| [MiMo-V2-Flash](https://docs.clore.ai/guides/guides_v2-hi/language-models/mimo-v2-flash)   | शिघ्र घोषणा (TBA) | तेज़ इन्फरेंस मॉडल  |

### कुशल मॉडल

| मॉडल                                                                                         | पैरामीटर          | उपयुक्तता                  |
| -------------------------------------------------------------------------------------------- | ----------------- | -------------------------- |
| [Gemma 2](https://docs.clore.ai/guides/guides_v2-hi/language-models/gemma2)                  | 2B-27B            | कुशल इन्फरेंस              |
| [Gemma 3](https://docs.clore.ai/guides/guides_v2-hi/language-models/gemma3)                  | शिघ्र घोषणा (TBA) | Google का नवीनतम कॉम्पैक्ट |
| [Phi-4](https://docs.clore.ai/guides/guides_v2-hi/language-models/phi4)                      | 14B               | छोटा पर सक्षम              |
| [Mistral/Mixtral](https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-mixtral) | 7B / 8x7B         | सामान्य उद्देश्य           |
| [Mistral Large 3](https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-large3)  | 675B MoE          | एंटरप्राइज़-ग्रेड          |
| [Mistral Small 3.1](https://docs.clore.ai/guides/guides_v2-hi/language-models/mistral-small) | शिघ्र घोषणा (TBA) | कुशल Mistral वेरिएंट       |

## GPU सिफारिशें

| मॉडल आकार | न्यूनतम GPU   | अनुशंसित  |
| --------- | ------------- | --------- |
| 7B (Q4)   | RTX 3060 12GB | RTX 3090  |
| 13B (Q4)  | RTX 3090 24GB | RTX 4090  |
| 34B (Q4)  | 2x RTX 3090   | A100 40GB |
| 70B (Q4)  | A100 80GB     | 2x A100   |

## क्वांटाइजेशन गाइड

| फ़ॉर्मेट | VRAM उपयोग | गुणवत्ता   | स्पीड     |
| -------- | ---------- | ---------- | --------- |
| Q2\_K    | सबसे कम    | कमज़ोर     | सबसे तेज़ |
| Q4\_K\_M | निम्न      | अच्छा      | तेज़      |
| Q5\_K\_M | मध्यम      | महान       | मध्यम     |
| Q8\_0    | उच्च       | उत्कृष्ट   | धीमा      |
| FP16     | अत्यधिक    | सबसे अच्छा | सबसे धीमा |

## यह भी देखें

* [प्रशिक्षण और फाइन-ट्यूनिंग](https://docs.clore.ai/guides/guides_v2-hi/training/training)
* [विजन-लैंग्वेज मॉडल](https://docs.clore.ai/guides/guides_v2-hi/vision-models/vision-models)