Phi-4
Clore.ai GPUs पर Microsoft का Phi-4 छोटा भाषा मॉडल चलाएँ
Microsoft के Phi-4 को चलाएँ - एक छोटा लेकिन शक्तिशाली भाषा मॉडल।
सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं, जिन्हें किराए पर लिया गया है CLORE.AI मार्केटप्लेस.
CLORE.AI पर किराए पर लेना
विज़िट करें CLORE.AI मार्केटप्लेस
GPU प्रकार, VRAM और कीमत के अनुसार फ़िल्टर करें
चुनें ऑन-डिमांड (स्थिर दर) या स्पॉट (बोली मूल्य)
अपना ऑर्डर कॉन्फ़िगर करें:
Docker इमेज चुनें
पोर्ट सेट करें (SSH के लिए TCP, वेब UI के लिए HTTP)
यदि आवश्यक हो तो environment variables जोड़ें
स्टार्टअप कमांड दर्ज करें
भुगतान चुनें: CLORE, BTCया USDT/USDC
ऑर्डर बनाएं और डिप्लॉयमेंट की प्रतीक्षा करें
अपने सर्वर तक पहुँचें
कनेक्शन विवरण यहाँ खोजें मेरे ऑर्डर
वेब इंटरफ़ेस: HTTP पोर्ट URL का उपयोग करें
SSH:
ssh -p <port> root@<proxy-address>
Phi-4 क्या है?
Microsoft का Phi-4 प्रदान करता है:
उत्कृष्ट प्रदर्शन के साथ 14B पैरामीटर
बेंचमार्क्स पर बड़े मॉडलों को पछाड़ता है
मज़बूत तर्क और गणित
कुशल अनुमान
मॉडल वेरिएंट
Phi-4
14B
16GB
सामान्य
Phi-3.5-mini
3.8B
4GB
हल्का
Phi-3.5-MoE
42B (6.6B सक्रिय)
16GB
विशेषज्ञों का मिश्रण
Phi-3.5-vision
4.2B
6GB
दृष्टि
त्वरित डिप्लॉय
Docker इमेज:
पोर्ट:
कमांड:
अपनी सेवा तक पहुँचना
डिप्लॉयमेंट के बाद, अपना http_pub URL यहाँ मेरे ऑर्डर:
पर जाएँ मेरे ऑर्डर पेज
अपने ऑर्डर पर क्लिक करें
खोजें
http_pubURL (उदा.,abc123.clorecloud.net)
उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए गए उदाहरणों में।
Ollama का उपयोग
इंस्टॉलेशन
मूल उपयोग
Phi-3.5-Vision
छवि समझने के लिए:
गणित और तर्क
कोड जनरेशन
क्वांटाइज़्ड इन्फरेंस
Gradio इंटरफ़ेस
प्रदर्शन
Phi-3.5-mini
RTX 3060
~100
Phi-3.5-mini
RTX 4090
~150
Phi-4
RTX 4090
~60
Phi-4
A100
~90
Phi-4 (4-बिट)
RTX 3090
~40
बेंचमार्क
Phi-4
84.8%
82.6%
94.6%
GPT-4-Turbo
86.4%
85.4%
94.2%
Llama-3.1-70B
83.6%
80.5%
92.1%
Phi-4 बहुत बड़े मॉडलों की बराबरी करता है या उन्हें पीछे छोड़ता है
समस्या निवारण
"trust_remote_code" त्रुटि
जोड़ें
trust_remote_code=Trueकोfrom_pretrained()यह Phi मॉडलों के लिए आवश्यक है
दोहराए जाने वाले आउटपुट
कम तापमान (0.3-0.6)
repetition_penalty=1.1 जोड़ें
उचित चैट टेम्पलेट का उपयोग करें
मेमोरी संबंधी समस्याएँ
Phi-4 कुशल है, लेकिन 14B के लिए फिर भी लगभग 8GB चाहिए
ज़रूरत हो तो 4-बिट क्वांटाइज़ेशन का उपयोग करें
कॉन्टेक्स्ट लंबाई घटाएँ
गलत आउटपुट फ़ॉर्मैट
उपयोग करें
apply_chat_template()सही फ़ॉर्मैटिंग के लिएजाँचें कि आप base के बजाय instruct संस्करण का उपयोग कर रहे हैं
लागत का अनुमान
CLORE.AI मार्केटप्लेस की सामान्य दरें (2024 तक):
RTX 3060
~$0.03
~$0.70
~$0.12
RTX 3090
~$0.06
~$1.50
~$0.25
RTX 4090
~$0.10
~$2.30
~$0.40
A100 40GB
~$0.17
~$4.00
~$0.70
A100 80GB
~$0.25
~$6.00
~$1.00
मूल्य प्रदाता और मांग के अनुसार बदलते हैं। देखें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।
पैसे बचाएँ:
का उपयोग करें स्पॉट बाधित किए जा सकने वाले कार्य के लिए मार्केट — लगभग एक-तिहाई सर्वरों की स्पॉट कीमत ऑन-डिमांड से कम होती है (मध्य ~13% छूट), बाकी उससे मेल खाते हैं
से भुगतान करें CLORE टोकन
विभिन्न प्रदाताओं के बीच कीमतों की तुलना करें
उपयोग के मामले
गणित ट्यूटरिंग
कोड सहायता
दस्तावेज़ विश्लेषण (vision)
कुशल edge deployment
लागत-प्रभावी inference
अगले चरण
Qwen2.5 - वैकल्पिक मॉडल
Gemma 2 - Google का मॉडल
Llama 3.2 - Meta का मॉडल
अंतिम अपडेट
क्या यह उपयोगी था?