LLM सर्विंग: Ollama बनाम vLLM बनाम TGI

LLM सर्विंग के लिए vLLM बनाम SGLang बनाम Ollama बनाम TGI बनाम LocalAI की तुलना करें

CLORE.AI पर अपनी आवश्यकताओं के लिए सही LLM सर्विंग समाधान चुनें।

सभी विकल्प उपलब्ध हैं CLORE.AI मार्केटप्लेस.

2025 अपडेट: SGLang एक शीर्ष-स्तरीय फ्रेमवर्क के रूप में उभरा है, अक्सर थ्रूपुट और TTFT बेंचमार्क में vLLM से बेहतर प्रदर्शन करता है। उत्पादन वर्कलोड के लिए vLLM v0.7 और SGLang v0.4 दोनों की सिफारिश की जाती है।

त्वरित निर्णय मार्गदर्शिका

उपयोग का मामला	बेस्ट चॉइस	क्यों
त्वरित परीक्षण और चैट	Ollama	सबसे आसान सेटअप, सबसे तेज़ स्टार्टअप
उत्पादन API (अधिकतम थ्रूपुट)	SGLang या vLLM	2025 में सबसे उच्च थ्रूपुट
रीज़निंग मॉडल (DeepSeek-R1)	SGLang	रीज़निंग चेन के लिए सर्वश्रेष्ठ समर्थन
HuggingFace एकीकरण	TGI	देशी HF समर्थन
स्थानीय विकास	Ollama	हर जगह काम करता है
उच्च समवर्तीता	SGLang या vLLM	निरंतर बैचिंग
मल्टी-मोडल (TTS, STT, एम्बेडिंग)	LocalAI	ऑल-इन-वन समाधान
स्ट्रीमिंग ऐप्स	vLLM या SGLang	दोनों उत्कृष्ट

स्टार्टअप समय तुलना

समाधान	सामान्य स्टार्टअप	नोट्स
Ollama	30-60 सेकंड	सबसे तेज़, हल्का
SGLang	3-8 मिनट	HF से मॉडल डाउनलोड करता है
vLLM	5-15 मिनट	HF से मॉडल डाउनलोड करता है
TGI	3-10 मिनट	HF से मॉडल डाउनलोड करता है
LocalAI	5-10 मिनट	कई मॉडल प्रीलोड करता है

स्टार्टअप के दौरान HTTP 502 त्रुटियाँ सामान्य हैं - सेवा अभी भी इनिशियलाइज़ हो रही है।

---

ओवरव्यू तुलना

फ़ीचर	Ollama	vLLM	SGLang	TGI	LocalAI
सेटअप की सरलता	⭐⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐
प्रदर्शन	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐
मॉडल समर्थन	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐
API अनुकूलता	कस्टम + OpenAI	OpenAI	OpenAI	कस्टम + OpenAI	OpenAI
मल्टी-GPU	सीमित	उत्कृष्ट	उत्कृष्ट	अच्छा	सीमित
मेमोरी दक्षता	अच्छा	उत्कृष्ट	उत्कृष्ट	बहुत अच्छा	अच्छा
मल्टी-मोडल	केवल विज़न	केवल विज़न	केवल विज़न	नहीं	TTS, STT, एम्बेड
स्टार्टअप समय	30 सेकंड	5-15 मिनट	3-8 मिनट	3-10 मिनट	5-10 मिनट
रीज़निंग मॉडल	सीमित	अच्छा	उत्कृष्ट	अच्छा	सीमित
उत्तम हेतु	विकास	प्रोडक्शन	उत्पादन + रीज़निंग	HF पारिस्थितिकी तंत्र	मल्टी-मोडल

---

2025 बेंचमार्क: DeepSeek-R1-32B

TTFT, TPOT और थ्रूपुट (A100 80GB, batch=32, input=512, output=512)

फ्रेमवर्क	TTFT (मिस)	TPOT (मिस/टोक)	थ्रूपुट (टोक/सेक)	नोट्स
SGLang v0.4	180	14	2,850	2025 में सर्वश्रेष्ठ समग्र
vLLM v0.7	240	17	2,400	उत्कृष्ट, SGLang के पास निकट
llama.cpp	420	28	1,100	CPU+GPU, क्वांटाइज़्ड
Ollama	510	35	820	उपयोग में आसानी प्राथमिकता

TTFT = पहला टोकन आने का समय (लेटेंसी). TPOT = प्रति आउटपुट टोकन का समय। दोनों के लिए कम बेहतर है।

थ्रूपुट तुलना (RTX 4090, Llama 3.1 8B, 10 समवर्ती उपयोगकर्ता)

फ्रेमवर्क	टोकन/सेकंड	समवर्ती उपयोगकर्ता	नोट्स
SGLang v0.4	920	20-30	Radix attention कैशिंग
vLLM v0.7	870	20-30	PagedAttention
TGI	550	10-20
Ollama	160*	—	डिफ़ॉल्ट रूप से क्रमिक

*Ollama अनुरोधों को डिफ़ॉल्ट रूप से क्रमिक रूप से सर्व करता है

---

SGLang

अवलोकन

SGLang (Structured Generation Language) एक उच्च-थ्रूपुट LLM सर्विंग फ्रेमवर्क है जिसे UC Berkeley और LMSYS के शोधकर्ताओं ने विकसित किया है। 2025 के बेंचमार्क में यह अक्सर vLLM से मेल खाता है या उसे पार कर जाता है — खासकर DeepSeek-R1 जैसे रीज़निंग मॉडलों के लिए।

फायदे

• ✅ 2025 बेंचमार्क में अक्सर सबसे तेज़ TTFT और थ्रूपुट

• ✅ कुशल KV-cache पुन:प्रयोग के लिए Radix attention

• ✅ रीज़निंग मॉडलों (DeepSeek-R1, QwQ) के लिए उत्कृष्ट समर्थन

• ✅ OpenAI-अनुकूल API

• ✅ निरंतर बैचिंग और प्रीफिक्स कैशिंग

• ✅ अनुमानात्मक डिकोडिंग समर्थन

• ✅ मल्टी-GPU टेंसर पैराललिज़्म

नुकसान

• ❌ नया पारिस्थितिकी तंत्र, vLLM की तुलना में कम सामुदायिक संसाधन

• ❌ Ollama की तुलना में अधिक जटिल सेटअप

• ❌ केवल Linux

त्वरित प्रारम्भ

pip install sglang[all]

# एक मॉडल सर्व करें
python -m sglang.launch_server \
    --model-path meta-llama/Llama-3.1-8B-Instruct \
    --host 0.0.0.0 \
    --port 8000

SGLang के साथ DeepSeek-R1

python -m sglang.launch_server \
    --model-path deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
    --host 0.0.0.0 \
    --port 8000 \
    --tp 2 \
    --reasoning-parser deepseek-r1

API उपयोग

from openai import OpenAI

client = OpenAI(base_url='http://localhost:8000/v1', api_key='dummy')

response = client.chat.completions.create(
    model='meta-llama/Llama-3.1-8B-Instruct',
    messages=[
        {'role': 'user', 'content': 'Explain quantum entanglement'}
    ],
    temperature=0.7,
    max_tokens=512
)
print(response.choices[0].message.content)

मल्टी-GPU

# 2 GPUs (टेंसर पैरालल)
python -m sglang.launch_server \
    --model-path meta-llama/Llama-3.1-70B-Instruct \
    --host 0.0.0.0 \
    --port 8000 \
    --tp 2

उत्तम हेतु

• 🎯 अधिकतम थ्रूपुट वाले उत्पादन APIs

• 🎯 रीज़निंग मॉडल (DeepSeek-R1, QwQ, o1-शैली)

• 🎯 कम-लेटेंसी (TTFT) एप्लिकेशन

• 🎯 प्रीफिक्स-भारी वर्कलोड (उच्च KV-cache पुन:प्रयोग)

---

Ollama

अवलोकन

Ollama LLMs को लोकली चलाने का सबसे आसान तरीका है। विकास, परीक्षण और व्यक्तिगत उपयोग के लिए परफेक्ट।

फायदे

• ✅ एक-कमांड इंस्टॉल और रन

• ✅ बिल्ट-इन मॉडल लाइब्रेरी

• ✅ शानदार CLI अनुभव

• ✅ Mac, Linux, Windows पर काम करता है

• ✅ स्वचालित क्वांटाइज़ेशन

• ✅ कम संसाधन ओवरहेड

नुकसान

• ❌ विकल्पों की तुलना में कम थ्रूपुट

• ❌ सीमित मल्टी-GPU समर्थन

• ❌ कम उत्पादन-तैयार

• ❌ कम अनुकूलन विकल्प

त्वरित प्रारम्भ

# इंस्टॉल करें
curl -fsSL https://ollama.com/install.sh | sh

# किसी भी मॉडल को चलाएँ
ollama run llama3.2
ollama run mistral
ollama run codellama

# API सर्व करें
ollama serve

API उपयोग

import requests

# जनरेट करें
response = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama3.2',
    'prompt': 'Explain quantum computing',
    'stream': False
})
print(response.json()['response'])

# चैट
response = requests.post('http://localhost:11434/api/chat', json={
    'model': 'llama3.2',
    'messages': [
        {'role': 'user', 'content': 'Hello!'}
    ]
})

OpenAI अनुकूलता

from openai import OpenAI

client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')

response = client.chat.completions.create(
    model='llama3.2',
    messages=[{'role': 'user', 'content': 'Hello!'}]
)

प्रदर्शन

मॉडल	GPU	टोकन/सेकंड
Llama 3.2 3B	RTX 3060	45-55
Llama 3.1 8B	RTX 3090	35-45
Llama 3.1 70B	A100 40GB	15-20

उत्तम हेतु

• 🎯 त्वरित प्रोटोटाइपिंग

• 🎯 व्यक्तिगत AI सहायक

• 🎯 सीखना और प्रयोग

• 🎯 सरल परिनियोजन

---

vLLM

अवलोकन

vLLM एक battle-tested उच्च-थ्रूपुट LLM इन्फ़रेंस इंजन है उत्पादन के लिए। v0.7 (2025) बेहतर प्रदर्शन, बेहतर क्वांटाइज़ेशन समर्थन, और नए अनुमानात्मक डिकोडिंग विकल्प लाता है।

फायदे

• ✅ सबसे उच्च थ्रूपुट (निरंतर बैचिंग + PagedAttention)

• ✅ कुशल मेमोरी के लिए PagedAttention

• ✅ उत्कृष्ट मल्टी-GPU समर्थन

• ✅ OpenAI-अनुकूल API

• ✅ उत्पादन-तैयार, बड़ा समुदाय

• ✅ कई क्वांटाइज़ेशन फॉर्मैट्स का समर्थन (AWQ, GPTQ, FP8)

• ✅ v0.7 में अनुमानात्मक डिकोडिंग

नुकसान

• ❌ अधिक जटिल सेटअप

• ❌ शुरुआत में अधिक मेमोरी ओवरहेड

• ❌ केवल Linux (कोई देशी Windows/Mac नहीं)

• ❌ अधिक कॉन्फ़िगरेशन की आवश्यकता

त्वरित प्रारम्भ

pip install vllm

# मॉडल सर्व करें (vLLM v0.7)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-8B-Instruct \
    --host 0.0.0.0 \
    --port 8000

Docker डिप्लॉय

docker run --gpus all -p 8000:8000 \
    vllm/vllm-openai:v0.7.0 \
    --model meta-llama/Llama-3.1-8B-Instruct

API उपयोग

from openai import OpenAI

client = OpenAI(base_url='http://localhost:8000/v1', api_key='dummy')

# चैट पूर्णता
response = client.chat.completions.create(
    model='meta-llama/Llama-3.1-8B-Instruct',
    messages=[
        {'role': 'system', 'content': 'You are helpful.'},
        {'role': 'user', 'content': 'Write a haiku about coding'}
    ],
    temperature=0.7,
    max_tokens=100
)

# स्ट्रीमिंग
stream = client.chat.completions.create(
    model='meta-llama/Llama-3.1-8B-Instruct',
    messages=[{'role': 'user', 'content': 'Tell me a story'}],
    stream=True
)
for chunk in stream:
    print(chunk.choices[0].delta.content, end='')

मल्टी-GPU

# 2 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2

# 4 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4

प्रदर्शन

मॉडल	GPU	टोकन/सेकंड	समवर्ती उपयोगकर्ता
Llama 3.1 8B	RTX 3090	80-100	10-20
Llama 3.1 8B	RTX 4090	120-150	20-30
Llama 3.1 70B	A100 40GB	25-35	5-10
Llama 3.1 70B	2x A100	50-70	15-25

उत्तम हेतु

• 🎯 बड़े समुदाय के साथ उत्पादन APIs

• 🎯 उच्च-ट्रैफ़िक एप्लिकेशन

• 🎯 मल्टी-यूज़र चैट सेवाएँ

• 🎯 अधिकतम थ्रूपुट आवश्यकताएँ

---

Text Generation Inference (TGI)

अवलोकन

HuggingFace का उत्पादन सर्वर, HF इकोसिस्टम के साथ घनिष्ठ रूप से एकीकृत।

फायदे

• ✅ देशी HuggingFace एकीकरण

• ✅ HF मॉडलों के लिए शानदार

• ✅ अच्छा मल्टी-GPU समर्थन

• ✅ बिल्ट-इन सुरक्षा सुविधाएँ

• ✅ Prometheus मेट्रिक्स

• ✅ अच्छी तरह प्रलेखित

नुकसान

• ❌ vLLM/SGLang की तुलना में थोड़ा कम थ्रूपुट

• ❌ अधिक संसाधन-गहन

• ❌ जटिल कॉन्फ़िगरेशन

• ❌ लंबा स्टार्टअप समय

त्वरित प्रारम्भ

# Docker (अनुशंसित)
docker run --gpus all -p 8080:80 \
    ghcr.io/huggingface/text-generation-inference:latest \
    --model-id meta-llama/Llama-3.1-8B-Instruct

# गेटेड मॉडलों के लिए HF टोकन के साथ
docker run --gpus all -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:latest \
    --model-id meta-llama/Llama-3.1-8B-Instruct

प्रदर्शन

मॉडल	GPU	टोकन/सेकंड	समवर्ती उपयोगकर्ता
Llama 3.1 8B	RTX 3090	60-80	8-15
Llama 3.1 8B	RTX 4090	90-120	15-25
Llama 3.1 70B	A100 40GB	20-30	3-8

उत्तम हेतु

• 🎯 HuggingFace मॉडल उपयोगकर्ता

• 🎯 अनुसंधान पर्यावरण

• 🎯 बिल्ट-इन सुरक्षा सुविधाओं की ज़रूरत

• 🎯 Prometheus निगरानी की ज़रूरत

---

LocalAI

अवलोकन

LocalAI एक OpenAI-अनुकूल API है जो कई मोडैलिटीज़ का समर्थन करता है: LLMs, TTS, STT, एम्बेडिंग और इमेज जनरेशन।

फायदे

• ✅ मल्टी-मोडल समर्थन (LLM, TTS, STT, एम्बेडिंग)

• ✅ ड्राप-इन OpenAI प्रतिस्थापन

• ✅ प्री-बिल्ट मॉडल उपलब्ध

• ✅ GGUF मॉडलों का समर्थन

• ✅ रीरैंकिंग समर्थन

• ✅ Swagger UI प्रलेखन

नुकसान

• ❌ लंबा स्टार्टअप समय (5-10 मिनट)

• ❌ vLLM/SGLang की तुलना में कम LLM थ्रूपुट

• ❌ इमेज जनरेशन में CUDA समस्याएँ आ सकती हैं

• ❌ शुद्ध LLM उपयोग के लिए अधिक जटिल

त्वरित प्रारम्भ

docker run --gpus all -p 8080:8080 localai/localai:master-aio-gpu-nvidia-cuda-12

API उपयोग

from openai import OpenAI

client = OpenAI(base_url='http://localhost:8080/v1', api_key='dummy')

# चैट
response = client.chat.completions.create(
    model='gpt-4',
    messages=[{'role': 'user', 'content': 'Hello!'}]
)

# TTS
audio = client.audio.speech.create(model='tts-1', input='Hello world', voice='alloy')

# STT
transcript = client.audio.transcriptions.create(model='whisper-1', file=open('audio.mp3', 'rb'))

# एम्बेडिंग्स
embeddings = client.embeddings.create(model='text-embedding-ada-002', input='Hello world')

उत्तम हेतु

• 🎯 कई मोडैलिटीज़ की ज़रूरत (TTS, STT, LLM)

• 🎯 OpenAI API अनुकूलता चाहते हैं

• 🎯 GGUF मॉडल चला रहे हैं

• 🎯 दस्तावेज़ रीरैंकिंग वर्कफ़्लोज़

---

प्रदर्शन तुलना (2025)

थ्रूपुट (टोकन/सेकंड) — एकल उपयोगकर्ता

मॉडल	Ollama	vLLM v0.7	SGLang v0.4	TGI
Llama 3.1 8B (RTX 3090)	40	90	100	70
Llama 3.1 8B (RTX 4090)	65	140	160	110
Llama 3.1 70B (A100 40GB)	18	30	35	25

थ्रूपुट — एकाधिक उपयोगकर्ता (10 समवर्ती)

मॉडल	Ollama	vLLM v0.7	SGLang v0.4	TGI
Llama 3.1 8B (RTX 4090)	150*	800	920	500
Llama 3.1 70B (A100 40GB)	50*	200	240	150

*Ollama डिफ़ॉल्ट रूप से क्रमिक रूप से सर्व करता है

मेमोरी उपयोग

मॉडल	Ollama	vLLM v0.7	SGLang v0.4	TGI
Llama 3.1 8B	5GB	6GB	6GB	7GB
Llama 3.1 70B (Q4)	38GB	40GB	39GB	42GB

पहले टोकन का समय (TTFT) — DeepSeek-R1-32B

फ्रेमवर्क	TTFT (A100 80GB)	TPOT (मिस/टोक)
SGLang v0.4	180ms	14ms
vLLM v0.7	240ms	17ms
llama.cpp	420ms	28ms
Ollama	510ms	35ms

---

फीचर तुलना

फ़ीचर	Ollama	vLLM v0.7	SGLang v0.4	TGI	LocalAI
OpenAI API	✅	✅	✅	✅	✅
स्ट्रीमिंग	✅	✅	✅	✅	✅
बॅचिंग	बेसिक	निरंतर	निरंतर	डायनामिक	बेसिक
मल्टी-GPU	सीमित	उत्कृष्ट	उत्कृष्ट	अच्छा	सीमित
क्वांटाइज़ेशन	GGUF	AWQ, GPTQ, FP8	AWQ, GPTQ, FP8	bitsandbytes, AWQ	GGUF
LoRA	✅	✅	✅	✅	✅
अनुमानात्मक डिकोडिंग	❌	✅	✅	✅	❌
प्रीफिक्स कैशिंग	❌	✅	✅ (Radix)	✅	❌
रीज़निंग मॉडल	सीमित	अच्छा	उत्कृष्ट	अच्छा	सीमित
मेट्रिक्स	बेसिक	Prometheus	Prometheus	Prometheus	Prometheus
फंक्शन कॉलिंग	✅	✅	✅	✅	✅
विजन मॉडल	✅	✅	✅	✅	सीमित
TTS	❌	❌	❌	❌	✅
STT	❌	❌	❌	❌	✅
एम्बेडिंग्स	✅	सीमित	सीमित	सीमित	✅

---

कब क्या उपयोग करें

Ollama का उपयोग तब करें:

• आप 5 मिनट में शुरू करना चाहते हैं

• आप प्रोटोटाइपिंग या सीख रहे हैं

• आपको व्यक्तिगत AI सहायक चाहिए

• आप Mac या Windows पर हैं

• सरलता गति से अधिक मायने रखती है

SGLang का उपयोग तब करें:

• आपको चाहिए सबसे कम लेटेंसी (TTFT)

• आप सर्व कर रहे हैं रीज़निंग मॉडल (DeepSeek-R1, QwQ, o1-शैली)

• आपके पास वर्कलोड हैं जिनमें भारी प्रीफिक्स शेयरिंग (RAG, सिस्टम प्रॉम्प्ट)

• आपको 2025 बेंचमार्क में शीर्ष-स्तरीय थ्रूपुट चाहिए

• आप कटिंग-एज अनुकूलन (Radix attention) चाहते हैं

vLLM का उपयोग तब करें:

• आपको आवश्यकता है अधिकतम थ्रूपुट की, साथ में परिपक्व, अच्छी तरह समर्थित फ्रेमवर्क

• आप कई उपयोगकर्ताओं को स्केल पर सर्व कर रहे हैं

• आपको बड़े समुदाय के साथ उत्पादन विश्वसनीयता चाहिए

• आप OpenAI ड्रॉप-इन प्रतिस्थापन चाहते हैं

• आपके पास मल्टी-GPU सेटअप्स हैं

• आपको व्यापक मॉडल फॉर्मैट समर्थन चाहिए (AWQ, GPTQ, FP8)

TGI का उपयोग तब करें:

• आप HuggingFace इकोसिस्टम में हैं

• आपको बिल्ट-इन सुरक्षा सुविधाएँ चाहिए

• आप विस्तृत Prometheus मेट्रिक्स चाहते हैं

• आपको HF मॉडलों को सीधे सर्व करने की आवश्यकता है

• आप अनुसंधान पर्यावरण में हैं

LocalAI का उपयोग तब करें:

• आपको LLM के साथ TTS और STT चाहिए

• आप RAG के लिए एम्बेडिंग्स चाहते हैं

• आपको दस्तावेज़ रीरैंकिंग चाहिए

• आप एक एकल ऑल-इन-वन समाधान चाहते हैं

• आप वॉइस-एनबल्ड ऐप्स बना रहे हैं

---

माइग्रेशन गाइड

Ollama से SGLang में

# Ollama
client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
response = client.chat.completions.create(model='llama3.2', ...)

# SGLang - बस URL और मॉडल नाम बदलें
client = OpenAI(base_url='http://localhost:8000/v1', api_key='dummy')
response = client.chat.completions.create(model='meta-llama/Llama-3.2-3B-Instruct', ...)

vLLM से SGLang में

दोनों OpenAI API का समर्थन करते हैं - बस endpoint URL बदलें। APIs पूरी तरह संगत हैं।

# vLLM
python -m vllm.entrypoints.openai.api_server --model ... --port 8000

# SGLang (समान)
python -m sglang.launch_server --model-path ... --port 8000

---

GPU द्वारा सिफारिशें

GPU	एकल उपयोगकर्ता	एकाधिक उपयोगकर्ता	रीज़निंग मॉडल
RTX 3060 12GB	Ollama	Ollama	Ollama
RTX 3090 24GB	Ollama	vLLM	SGLang
RTX 4090 24GB	SGLang/vLLM	SGLang/vLLM	SGLang
A100 40GB+	SGLang	SGLang	SGLang

---

अगले कदम

• Ollama गाइड - सबसे आसान सेटअप

• vLLM गाइड - सबसे उच्च थ्रूपुट

• LocalAI गाइड - मल्टी-मोडल समर्थन

• DeepSeek-R1 गाइड - रीज़निंग मॉडल

• मल्टी-GPU सेटअप - बड़े मॉडलों तक स्केल करें

• API एकीकरण - एप्लीकेशंस बनाएं