API एकीकरण
Clore.ai पर चल रहे AI मॉडल्स को अपने एप्लिकेशनों में इंटीग्रेट करें
💡 अनुशंसित: आधिकारिक का उपयोग करें clore-ai Python SDK कच्चे HTTP अनुरोधों के बजाय Clore.ai सर्वर और ऑर्डर प्रबंधित करने के लिए। इन-बिल्ट रेट लिमिटिंग, रीट्राई, प्रकार सुरक्षा, और असिंक समर्थन।
CLORE.AI पर चल रहे AI मॉडल्स को अपने अनुप्रयोगों में एकीकृत करें।
त्वरित आरंभ
CLORE.AI पर अधिकांश AI सेवाएँ OpenAI-अनुकूल APIs प्रदान करती हैं। बेस URL बदलें और आप तैयार हैं।
from openai import OpenAI
client = OpenAI(
base_url="http://<your-clore-server>:8000/v1",
api_key="not-needed" # अधिकांश स्वयं-होस्टेड के लिए कुंजी आवश्यक नहीं
)
response = client.chat.completions.create(
model="meta-llama/Llama-3.1-8B-Instruct",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)LLM APIs
vLLM (OpenAI अनुकूल)
सर्वर सेटअप:
Python क्लाइंट:
Node.js क्लाइंट:
cURL:
Ollama API
Python:
Ollama OpenAI प्रारूप का भी समर्थन करता है:
TGI API
Python:
इमेज जनरेशन APIs
Stable Diffusion WebUI API
API सक्षम करें: जोड़ें --api लॉन्च कमांड में।
Python:
Node.js:
ComfyUI API
Python:
प्रगति के लिए WebSocket:
FLUX with Diffusers
ऑडियो APIs
Whisper ट्रांसक्रिप्शन
whisper-asr-webservice का उपयोग करते हुए:
Direct Whisper API:
टेक्स्ट-टू-स्पीच (Bark)
एप्लिकेशन बनाना
चैट एप्लिकेशन
इमेज जनरेशन सेवा
मल्टी-मॉडल पाइपलाइन
त्रुटि हैंडलिंग
सर्वोत्तम अभ्यास
कनेक्शन पूलिंग - HTTP कनेक्शनों का पुन: उपयोग करें
एसिंक अनुरोध - समांतर कॉल के लिए aiohttp का उपयोग करें
टाइमआउट - हमेशा अनुरोध टाइमआउट सेट करें
रीट्राई लॉजिक - अस्थायी विफलताओं को संभालें
रेट लिमिटिंग - सर्वर को अधिक भार न दें
हेल्थ चेक - सर्वर उपलब्धता की निगरानी करें
अगले कदम
बैच प्रोसेसिंग - बड़े वर्कलोड्स को प्रोसेस करें
मल्टी-GPU सेटअप - अपनी तैनाती को स्केल करें
LLM तुलना - सही सर्वर चुनें
अंतिम अपडेट
क्या यह उपयोगी था?