For the complete documentation index, see llms.txt. This page is also available as Markdown.

CodeLlama

Clore.ai पर CodeLlama के साथ कोड जनरेट, पूरा, और समझाएँ

नई विकल्प! कोडिंग कार्यों के लिए, विचार करें Qwen2.5-Coder (32B, अत्याधुनिक कोड जनरेशन) या DeepSeek-R1 (तर्क + कोडिंग)। हल्के डिप्लॉयमेंट के लिए CodeLlama अभी भी उपयोगी है।

Meta के CodeLlama के साथ कोड जनरेट, पूरा और समझाएँ।

CLORE.AI पर किराए पर लेना

  1. विज़िट करें CLORE.AI मार्केटप्लेस

  2. GPU प्रकार, VRAM और कीमत के अनुसार फ़िल्टर करें

  3. चुनें ऑन-डिमांड (स्थिर दर) या स्पॉट (बोली मूल्य)

  4. अपना ऑर्डर कॉन्फ़िगर करें:

    • Docker इमेज चुनें

    • पोर्ट सेट करें (SSH के लिए TCP, वेब UI के लिए HTTP)

    • यदि आवश्यक हो तो environment variables जोड़ें

    • स्टार्टअप कमांड दर्ज करें

  5. भुगतान चुनें: CLORE, BTCया USDT/USDC

  6. ऑर्डर बनाएं और डिप्लॉयमेंट की प्रतीक्षा करें

अपने सर्वर तक पहुँचें

  • कनेक्शन विवरण यहाँ खोजें मेरे ऑर्डर

  • वेब इंटरफ़ेस: HTTP पोर्ट URL का उपयोग करें

  • SSH: ssh -p <port> root@<proxy-address>

मॉडल वेरिएंट

मॉडल
आकार
VRAM
किसके लिए सर्वोत्तम

CodeLlama-7B

7B

8GB

तेज़ पूर्णता

CodeLlama-13B

13B

16GB

संतुलित

CodeLlama-34B

34B

40GB

सर्वोत्तम गुणवत्ता

CodeLlama-70B

70B

80GB+

अधिकतम गुणवत्ता

वेरिएंट्स

  • बेस: कोड पूर्णता

  • Instruct: निर्देशों का पालन करें

  • Python: Python-विशेषीकृत

त्वरित डिप्लॉय

Docker इमेज:

पोर्ट:

कमांड:

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना http_pub URL यहाँ मेरे ऑर्डर:

  1. पर जाएँ मेरे ऑर्डर पेज

  2. अपने ऑर्डर पर क्लिक करें

  3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए गए उदाहरणों में।

इंस्टॉलेशन

Ollama का उपयोग

Transformers का उपयोग

कोड पूर्णता

निर्देशित मॉडल

निम्न कोडिंग निर्देशों के लिए:

बीच में भरें (FIM)

Python-विशेषीकृत मॉडल

vLLM सर्वर

API उपयोग

कोड व्याख्या

बग सुधार

कोड अनुवाद

Gradio इंटरफ़ेस

बैच प्रोसेसिंग

Continue के साथ उपयोग करें (VSCode)

Continue एक्सटेंशन कॉन्फ़िगर करें:

प्रदर्शन

मॉडल
GPU
टोकन/सेकंड

CodeLlama-7B

RTX 3090

~90

CodeLlama-7B

RTX 4090

~130

CodeLlama-13B

RTX 4090

~70

CodeLlama-34B

A100

~50

समस्या निवारण

खराब कोड गुणवत्ता

  • कम तापमान (0.1-0.3)

  • Instruct संस्करण का उपयोग करें

  • यदि संभव हो तो बड़ा मॉडल

अपूर्ण आउटपुट

  • max_new_tokens बढ़ाएँ

  • कॉन्टेक्स्ट लंबाई जाँचें

धीमी जनरेशन

  • vLLM का उपयोग करें

  • मॉडल को क्वांटाइज़ करें

  • छोटा संस्करण उपयोग करें

लागत का अनुमान

CLORE.AI मार्केटप्लेस की सामान्य दरें (2024 तक):

GPU
प्रति घंटा दर
प्रति दिन दर
4-घंटे का सत्र

RTX 3060

~$0.03

~$0.70

~$0.12

RTX 3090

~$0.06

~$1.50

~$0.25

RTX 4090

~$0.10

~$2.30

~$0.40

A100 40GB

~$0.17

~$4.00

~$0.70

A100 80GB

~$0.25

~$6.00

~$1.00

मूल्य प्रदाता और मांग के अनुसार बदलते हैं। देखें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।

पैसे बचाएँ:

  • का उपयोग करें स्पॉट बाधित किए जा सकने वाले कार्य के लिए मार्केट — लगभग एक-तिहाई सर्वरों की स्पॉट कीमत ऑन-डिमांड से कम होती है (मध्य ~13% छूट), बाकी उससे मेल खाते हैं

  • से भुगतान करें CLORE टोकन

  • विभिन्न प्रदाताओं के बीच कीमतों की तुलना करें

अगले चरण

  • Open Interpreter - कोड निष्पादित करें

  • vLLM इंफ़ेरेंस - प्रोडक्शन सर्विंग

  • Mistral/Mixtral - वैकल्पिक मॉडल

अंतिम अपडेट

क्या यह उपयोगी था?