Open WebUI

Clore.ai GPUs पर LLM चलाने के लिए ChatGPT-जैसा इंटरफ़ेस

CLORE.AI GPU पर LLM चलाने के लिए ChatGPT जैसे सुंदर इंटरफ़ेस।

सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं जिन्हें द्वारा किराए पर लिया गया है CLORE.AI मार्केटप्लेस.

Open WebUI क्यों?

• ChatGPT जैसी UI - परिचित, परिष्कृत इंटरफ़ेस

• मल्टी-मॉडल - मॉडलों के बीच आसानी से स्विच करें

• RAG अंतर्निहित - संदर्भ के लिए दस्तावेज़ अपलोड करें

• उपयोगकर्ता प्रबंधन - मल्टी-यूज़र समर्थन

• इतिहास - बातचीत का स्थायित्व

• Ollama एकीकरण - बॉक्स से काम करता है

CLORE.AI पर त्वरित डिप्लॉय

Docker इमेज:

ghcr.io/open-webui/open-webui:cuda

पोर्ट:

22/tcp
8080/http

कमांड:

# बैकग्राउंड में Ollama शुरू करें
ollama serve &
sleep 5
ollama pull llama3.2

# Open WebUI शुरू करें (स्वतः Ollama से कनेक्ट होता है)
# नोट: Docker इमेज यह संभालती है

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना खोजें http_pub URL में मेरे ऑर्डर:

1. जाएँ मेरे ऑर्डर पृष्ठ

2. अपने ऑर्डर पर क्लिक करें

3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए उदाहरणों में।

जांचें कि यह काम कर रहा है

# हेल्थ जाँच
curl https://your-http-pub.clorecloud.net/health

# संस्करण प्राप्त करें
curl https://your-http-pub.clorecloud.net/api/version

प्रतिक्रिया:

{"version": "0.7.2"}

यदि आपको HTTP 502 मिलता है, तो 1-2 मिनट प्रतीक्षा करें - सेवा अभी भी शुरू हो रही है।

इंस्टॉलेशन

Ollama के साथ (अनुशंसित)

# पहले Ollama शुरू करें
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# Pull a model
docker exec -it ollama ollama pull llama3.2

# Open WebUI शुरू करें
docker run -d -p 8080:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

ऑल-इन-वन (Bundled Ollama)

docker run -d -p 8080:8080 \
  --gpus all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:ollama

पहली सेटअप

1. खोलें http://your-server:8080

2. एडमिन खाता बनाएं (पहला उपयोगकर्ता एडमिन बन जाता है)

3. Settings → Models → Pull a model पर जाएँ

4. बातचीत शुरू करें!

विशेषताएँ

चैट इंटरफ़ेस

• Markdown रेंडरिंग

• कोड हाइलाइटिंग

• इमेज जेनरेशन (समर्थित मॉडलों के साथ)

• वॉइस इनपुट/आउटपुट

• फ़ाइल अटैचमेंट

मॉडल प्रबंधन

• UI से सीधे मॉडल खींचें

• कस्टम मॉडल बनाएं

• डिफ़ॉल्ट मॉडल सेट करें

• मॉडल-विशिष्ट सेटिंग्स

RAG (डॉक्यूमेंट चैट)

1. चैट में "+" पर क्लिक करें

2. PDF, TXT, या अन्य दस्तावेज़ अपलोड करें

3. सामग्री के बारे में प्रश्न पूछें

उपयोगकर्ता प्रबंधन

• कई उपयोगकर्ता

• भूमिका-आधारित पहुंच

• API कुंजी प्रबंधन

• उपयोग ट्रैकिंग

कॉन्फ़िगरेशन

पर्यावरण चर

docker run -d \
  -e OLLAMA_BASE_URL=http://ollama:11434 \
  -e WEBUI_AUTH=True \
  -e WEBUI_NAME="My AI Chat" \
  -e DEFAULT_MODELS="llama3.2" \
  ghcr.io/open-webui/open-webui:main

मुख्य सेटिंग्स

वैरिएबल	विवरण	डिफ़ॉल्ट
OLLAMA_BASE_URL	Ollama API URL	http://localhost:11434
WEBUI_AUTH	प्रमाणीकरण सक्षम करें	True
WEBUI_NAME	इंस्टेंस नाम	वेबUI खोलें
DEFAULT_MODELS	डिफ़ॉल्ट मॉडल	-
ENABLE_RAG_WEB_SEARCH	RAG में वेब खोज	False

रिमोट Ollama से कनेक्ट करें

docker run -d -p 8080:8080 \
  -e OLLAMA_BASE_URL=http://remote-server:11434 \
  ghcr.io/open-webui/open-webui:main

Docker Compose

version: '3.8'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    ports:
      - "8080:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

volumes:
  ollama:
  open-webui:

docker-compose up -d

API संदर्भ

Open WebUI कई API endpoints प्रदान करता है:

एंडपॉइंट	विधि	विवरण
/health	GET	हेल्थ जाँच
/api/version	GET	Open WebUI संस्करण प्राप्त करें
/api/config	GET	कॉन्फ़िगरेशन प्राप्त करें
/ollama/api/tags	GET	Ollama मॉडलों की सूची (प्रॉक्सी किया गया)
/ollama/api/chat	POST	Ollama के साथ चैट (प्रॉक्सी किया गया)

स्वास्थ्य जांच

curl https://your-http-pub.clorecloud.net/health

प्रतिक्रिया: true

वर्ज़न प्राप्त करें

curl https://your-http-pub.clorecloud.net/api/version

प्रतिक्रिया:

{"version": "0.7.2"}

मॉडलों की सूची (Ollama प्रॉक्सी के माध्यम से)

curl https://your-http-pub.clorecloud.net/ollama/api/tags

अधिकांश API ऑपरेशन प्रमाणीकरण की आवश्यकता रखते हैं। एक खाता बनाने और API कुंजियाँ प्रबंधित करने के लिए वेब UI का उपयोग करें।

टिप्स

तेज़ उत्तर

1. क्वांटाइज्ड मॉडल (Q4_K_M) का उपयोग करें

2. सेटिंग्स में स्ट्रीमिंग सक्षम करें

3. आवश्यक होने पर संदर्भ लंबाई कम करें

बेहतर गुणवत्ता

1. बड़े मॉडलों (13B+) का उपयोग करें

2. Q8 क्वांटाइज़ेशन का उपयोग करें

3. मॉडल सेटिंग्स में टेम्परेचर समायोजित करें

संसाधन बचाएँ

1. सेट करें OLLAMA_KEEP_ALIVE=5m

2. अनुपयोग किए गए मॉडलों को अनलोड करें

3. टेस्टिंग के लिए छोटे मॉडल इस्तेमाल करें

GPU आवश्यकताएँ

के समान Ollama.

Open WebUI स्वयं न्यूनतम संसाधन (~500MB RAM) का उपयोग करता है।

समस्याओं का निवारण

Ollama से कनेक्ट नहीं हो पा रहा

# जांचें कि Ollama चल रहा है
curl http://localhost:11434/api/tags

# यदि Docker का उपयोग कर रहे हैं, तो host नेटवर्किंग या सही URL का उपयोग करें
docker run --network=host ghcr.io/open-webui/open-webui:main

मॉडल दिखाई नहीं रहे

1. Settings में Ollama कनेक्शन की जाँच करें

2. मॉडल सूची रिफ्रेश करें

3. CLI के माध्यम से मॉडल खींचें: ollama pull modelname

धीमा प्रदर्शन

1. जाँच करें कि GPU उपयोग हो रहा है: nvidia-smi

2. छोटे/क्वांटाइज्ड मॉडल आज़माएँ

3. समानांतर उपयोगकर्ताओं की संख्या कम करें

लागत अनुमान

सेटअप	GPU	घंटेवार
बेसिक (7B)	RTX 3060	~$0.03
स्टैंडर्ड (13B)	RTX 3090	~$0.06
एडवांस्ड (34B)	RTX 4090	~$0.10
एंटरप्राइस (70B)	A100	~$0.17

अगले कदम

• Ollama - CLI उपयोग

• LocalAI - और बैकएंड

• RAG + LangChain - उन्नत RAG