वेक्टर डेटाबेस तुलना

Clore.ai GPU सर्वरों पर अपने AI अनुप्रयोगों के लिए सही वेक्टर डेटाबेस चुनें।

वेक्टर डेटाबेस उच्च-आयामी एम्बेडिंग्स को कुशलतापूर्वक संग्रहीत और पुनः प्राप्त करें — RAG सिस्टम, सार्थक खोज और अनुशंसा इंजनों के लिए मुख्य अवसंरचना। यह मार्गदर्शिका चार सबसे लोकप्रिय ओपन-सोर्स विकल्पों की तुलना करती है।

---

त्वरित निर्णय मैट्रिक्स

	ChromaDB	Qdrant	Milvus	Weaviate
इनके लिए सर्वश्रेष्ठ	प्रोटोटाइपिंग, स्थानीय विकास	प्रोडक्शन RAG	अरब-स्तरीय खोज	नॉलेज ग्राफ़
परिनियोजन	एम्बेडेड/सर्वर	सर्वर/क्लाउड	सर्वर/क्लाउड	सर्वर/क्लाउड
स्केलेबिलिटी	एकल-नोड	बहु-नोड	वितरित	वितरित
GitHub स्टार्स	17K+	21K+	31K+	12K+
लाइसेंस	Apache 2.0	Apache 2.0	Apache 2.0	BSD 3-Clause
प्रबंधित क्लाउड	नहीं	हाँ (Qdrant Cloud)	हाँ (Zilliz)	हाँ (Weaviate Cloud)
भाषा	Python	Rust	जाएँ	जाएँ

---

अवलोकन

ChromaDB

ChromaDB सबसे सरल वेक्टर डेटाबेस है — तेज़ प्रोटोटाइपिंग और छोटे से मध्यम-स्तर के अनुप्रयोगों के लिए डिज़ाइन किया गया। यह पूरी तरह इन-मेमोरी में चल सकता है या डिस्क पर स्थायी रूप से सहेजा जा सकता है।

दर्शन: शून्य कॉन्फ़िगरेशन, अधिकतम डेवलपर अनुभव।

import chromadb

client = chromadb.PersistentClient(path="/data/chroma")
collection = client.create_collection("my_docs")

collection.add(
    documents=["Machine learning is great", "Deep learning uses neural networks"],
    ids=["doc1", "doc2"]
)

results = collection.query(
    query_texts=["What is AI?"],
    n_results=2
)

Qdrant

Qdrant Rust में लिखा गया प्रोडक्शन-रेडी वेक्टर खोज इंजन है। यह प्रदर्शन, फ़िल्टरिंग और परिचालन सरलता पर केंद्रित है।

दर्शन: परिचालन जटिलता के बिना प्रोडक्शन-स्तरीय प्रदर्शन।

from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct

client = QdrantClient("localhost", port=6333)
client.create_collection(
    collection_name="my_collection",
    vectors_config=VectorParams(size=1536, distance=Distance.COSINE)
)

client.upsert(
    collection_name="my_collection",
    points=[
        PointStruct(id=1, vector=[...], payload={"text": "document 1"}),
    ]
)

results = client.search(
    collection_name="my_collection",
    query_vector=[...],
    limit=10,
    query_filter=Filter(must=[FieldCondition(key="category", match=MatchValue(value="tech"))])
)

Milvus

Milvus सबसे अधिक स्केलेबल ओपन-सोर्स वेक्टर डेटाबेस है, जिसे अरब-स्तरीय परिनियोजन के लिए डिज़ाइन किया गया है। इसमें Kubernetes समर्थन के साथ वितरित आर्किटेक्चर है।

दर्शन: विशाल पैमाना, क्लाउड-नेटिव।

from pymilvus import connections, Collection, FieldSchema, CollectionSchema, DataType

connections.connect("default", host="localhost", port=19530)

fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=1536),
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=65535),
]
schema = CollectionSchema(fields)
collection = Collection("my_collection", schema)

# डेटा सम्मिलित करें
collection.insert([[1, 2], embeddings, texts])
collection.create_index("embedding", {"metric_type": "COSINE", "index_type": "IVF_FLAT"})
collection.load()

results = collection.search(
    data=[query_embedding],
    anns_field="embedding",
    param={"metric_type": "COSINE", "nprobe": 10},
    limit=10
)

Weaviate

Weaviate वेक्टर खोज को नॉलेज ग्राफ़ और GraphQL API के साथ जोड़ता है। यह मल्टी-मोडल खोज (टेक्स्ट, इमेज, ऑडियो) को डिफ़ॉल्ट रूप से सपोर्ट करता है।

दर्शन: समृद्ध स्कीमा, मल्टी-मोडल, नॉलेज ग्राफ़ क्षमताएँ।

import weaviate

client = weaviate.Client("http://localhost:8080")

# क्लासों के साथ स्कीमा परिभाषित करें
client.schema.create_class({
    "class": "Document",
    "vectorizer": "text2vec-transformers",
    "properties": [
        {"name": "content", "dataType": ["text"]},
        {"name": "category", "dataType": ["string"]}
    ]
})

# स्वचालित वेक्टराइज़ेशन के साथ सम्मिलित करें
client.data_object.create(
    {"content": "Machine learning tutorial", "category": "tech"},
    "Document"
)

# सार्थक खोज
result = client.query.get("Document", ["content", "category"])\
    .with_near_text({"concepts": ["artificial intelligence"]})\
    .with_limit(5)\
    .do()

---

प्रदर्शन बेंचमार्क

ANN बेंचमार्क (ann-benchmarks.com, 2024)

1M vectors, 768 dimensions, Cosine similarity

डेटाबेस	QPS (1 thread)	Recall@10	बिल्ड समय	इंडेक्स आकार
ChromaDB (HNSW)	~2,000	98.5%	45s	2.1GB
Qdrant (HNSW)	~8,500	99.1%	32s	1.8GB
Milvus (HNSW)	~12,000	98.9%	28s	1.9GB
Weaviate (HNSW)	~6,000	98.7%	38s	2.0GB

10M vectors (स्केलेबिलिटी परीक्षण)

डेटाबेस	QPS	RAM उपयोग	नोट्स
ChromaDB	~800	22GB	पैमाने पर कठिनाई
Qdrant	~5,200	18GB	क्वांटाइज़ेशन के साथ अच्छा
Milvus	~9,800	15GB (indexed)	पैमाने पर सर्वश्रेष्ठ
Weaviate	~3,500	21GB	मध्यम

बेंचमार्क मार्गदर्शक हैं, अंतिम सत्य नहीं। प्रदर्शन इंडेक्स प्रकार, हार्डवेयर, वेक्टर आयाम और क्वेरी पैटर्न के आधार पर बहुत बदलता है। हमेशा अपने डेटा के साथ बेंचमार्क करें।

फ़िल्टर्ड ANN खोज प्रदर्शन

फ़िल्टर्ड खोज (वेक्टर समानता + मेटाडेटा फ़िल्टर) प्रोडक्शन RAG के लिए महत्वपूर्ण है:

डेटाबेस	फ़िल्टर्ड QPS	पूर्व-फ़िल्टर	पश्च-फ़िल्टर
ChromaDB	~500	❌	✅
Qdrant	~6,000	✅ (HNSW + payload index)	✅
Milvus	~8,000	✅	✅
Weaviate	~3,000	✅ (inverted index)	✅

फ़िल्टर्ड खोज के लिए विजेता: Qdrant और Milvus, जो पोस्ट-फ़िल्टरिंग के प्रदर्शन में गिरावट के बिना वास्तविक प्री-फ़िल्टरिंग का समर्थन करते हैं।

---

विशेषताओं की तुलना

स्टोरेज और इंडेक्सिंग

विशेषता	ChromaDB	Qdrant	Milvus	Weaviate
HNSW index	✅	✅	✅	✅
IVF index	❌	❌	✅	❌
DiskANN	❌	✅	✅	❌
Scalar quantization	❌	✅	✅	✅
Product quantization	❌	✅	✅	❌
Binary quantization	❌	✅	✅	✅
On-disk storage	✅	✅	✅	✅
Mmap	❌	✅	✅	✅

क्वेरी क्षमताएँ

विशेषता	ChromaDB	Qdrant	Milvus	Weaviate
वेक्टर समानता	✅	✅	✅	✅
Hybrid search (BM25+vector)	❌	✅	✅	✅
मेटाडेटा फ़िल्टरिंग	✅ (बुनियादी)	✅ (समृद्ध)	✅ (समृद्ध)	✅ (GraphQL)
कीवर्ड खोज	❌	✅	✅	✅
मल्टी-वेक्टर खोज	❌	✅	✅	✅
Sparse vectors (SPLADE)	❌	✅	✅	✅
नामित वेक्टर	❌	✅	✅	✅

परिचालन सुविधाएँ

विशेषता	ChromaDB	Qdrant	Milvus	Weaviate
REST API	✅	✅	✅	✅
gRPC API	❌	✅	✅	❌
GraphQL API	❌	❌	❌	✅
प्रमाणीकरण	बेसिक	✅	✅	✅
RBAC	❌	✅	✅	✅
क्षैतिज स्केलिंग	❌	✅	✅	✅
Kubernetes समर्थन	❌	✅	✅	✅
Snapshots/Backup	❌	✅	✅	✅
मॉनिटरिंग (Prometheus)	❌	✅	✅	✅

---

ChromaDB: विस्तृत विश्लेषण

मजबूतियाँ

✅ सबसे सरल सेटअप — pip install chromadb और आपका काम पूरा ✅ एम्बेडेड मोड — कोई अलग सर्वर प्रक्रिया नहीं ✅ स्वचालित एम्बेडिंग — अंतर्निहित एम्बेडिंग मॉडल ✅ LangChain/LlamaIndex नेटिव एकीकरण ✅ शून्य कॉन्फ़िगरेशन — प्रोटोटाइपिंग के लिए बेहतरीन

कमज़ोरियाँ

❌ सीमित स्केल — 1-2M वेक्टर से आगे कठिनाई होती है ❌ वितरित मोड नहीं — केवल एकल नोड ❌ सीमित फ़िल्टरिंग — कोई पूर्व-फ़िल्टरिंग नहीं ❌ क्वांटाइज़ेशन नहीं — अधिक मेमोरी उपयोग ❌ पैमाने पर धीमा — Python-आधारित संचालन

Clore.ai पर परिनियोजन

# क्लाइंट/सर्वर मोड
docker run -d \\
  --name chromadb \
  -p 8000:8000 \
  -v $(pwd)/chroma-data:/chroma/chroma \
  chromadb/chroma:latest

# परीक्षण
curl http://localhost:8000/api/v1/heartbeat

इनके लिए सर्वश्रेष्ठ: Jupyter notebooks, तेज़ RAG प्रोटोटाइप, <1M वेक्टर

---

Qdrant: विस्तृत विश्लेषण

मजबूतियाँ

✅ सर्वश्रेष्ठ फ़िल्टरिंग — वास्तविक प्री-फ़िल्टर्ड वेक्टर खोज ✅ Rust प्रदर्शन — अत्यंत तेज़, कम विलंबता ✅ क्वांटाइज़ेशन — binary/scalar से मेमोरी 4-32× कम होती है ✅ स्पार्स वेक्टर — हाइब्रिड dense+sparse खोज ✅ सरल संचालन — एकल बाइनरी, कोई निर्भरता नहीं ✅ अच्छा दस्तावेज़ीकरण — उत्कृष्ट गाइड और उदाहरण

कमज़ोरियाँ

❌ एकल-लेखक मुफ़्त टियर में (कोई वितरित लेखन नहीं) ❌ छोटा इकोसिस्टम Milvus की तुलना में ❌ कोई GraphQL नहीं — केवल REST/gRPC

Clore.ai पर परिनियोजन

# सरल परिनियोजन
docker run -d \\
  --name qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v $(pwd)/qdrant-storage:/qdrant/storage \
  qdrant/qdrant:latest

# प्रमाणीकरण के साथ
docker run -d \\
  --name qdrant \
  -p 6333:6333 \
  -e QDRANT__SERVICE__API_KEY=your-secret-key \
  -v $(pwd)/qdrant-storage:/qdrant/storage \
  qdrant/qdrant:latest

# परीक्षण
curl http://localhost:6333/health

इनके लिए सर्वश्रेष्ठ: प्रोडक्शन RAG, फ़िल्टर्ड खोज, 1-100M वेक्टर

---

Milvus: विस्तृत विश्लेषण

मजबूतियाँ

✅ विशाल पैमाना — 10B+ वेक्टर तक परीक्षण किया गया ✅ वितरित — क्लाउड-नेटिव Kubernetes आर्किटेक्चर ✅ अधिकांश इंडेक्स प्रकार — IVF, HNSW, DiskANN, ScaNN ✅ GPU त्वरण — GPU-संचालित इंडेक्स निर्माण ✅ एंटरप्राइज़ सुविधाएँ — RBAC, ऑडिट लॉग, एन्क्रिप्शन ✅ Zilliz Cloud — पूर्णत: प्रबंधित विकल्प

कमज़ोरियाँ

❌ जटिल परिनियोजन — etcd, MinIO, और Pulsar/Kafka की आवश्यकता होती है ❌ संसाधन-भारी — न्यूनतम 3 नोड अनुशंसित ❌ सीखने की प्रक्रिया अधिक कठिन — समझने के लिए अधिक अवधारणाएँ ❌ छोटे पैमाने के लिए जरूरत से ज़्यादा — <1M वेक्टर के लिए उपयोग न करें

Clore.ai पर परिनियोजन (स्टैंडअलोन)

# Milvus स्टैंडअलोन के लिए docker-compose.yml
version: "3.8"
services:
  etcd:
    image: quay.io/coreos/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
    command: etcd -advertise-client-urls=http://etcd:2379 -listen-client-urls=http://0.0.0.0:2379

  minio:
    image: minio/minio:RELEASE.2023-03-13T19-46-17Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    command: minio server /minio_data --console-address ":9001"

  milvus:
    image: milvusdb/milvus:v2.4.0
    command: ["milvus", "run", "standalone"]
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - etcd
      - minio

docker compose up -d
# पूरी तरह शुरू होने में ~60 सेकंड लगते हैं

इनके लिए सर्वश्रेष्ठ: बड़े पैमाने का प्रोडक्शन, 100M+ वेक्टर, एंटरप्राइज़ परिनियोजन

---

Weaviate: विस्तृत विश्लेषण

मजबूतियाँ

✅ बहु-मोडल — टेक्स्ट, इमेज, ऑडियो, वीडियो ✅ स्वचालित वेक्टराइज़ेशन — अंतर्निहित मॉडल इंटीग्रेशन ✅ GraphQL API — ग्राफ़ ट्रैवर्सल के साथ समृद्ध क्वेरी ✅ मॉड्यूल सिस्टम — प्लग-इन योग्य वेक्टराइज़र और रीडर ✅ हाइब्रिड खोज — BM25 + वेक्टर डिफ़ॉल्ट रूप से ✅ जनरेटिव सर्च — generate module के साथ अंतर्निहित RAG

कमज़ोरियाँ

❌ अधिक मेमोरी — स्कीमा-सजग स्टोरेज बड़ा होता है ❌ gRPC नहीं — केवल GraphQL (उच्च QPS पर धीमा) ❌ जटिल स्कीमा — पहले से क्लास परिभाषा आवश्यक ❌ अत्यधिक पैमाने पर धीमा Milvus की तुलना में

Clore.ai पर परिनियोजन

# सरल परिनियोजन
docker run -d \\
  --name weaviate \\
  -p 8080:8080 \
  -p 50051:50051 \\
  -e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true \\
  -e PERSISTENCE_DATA_PATH=/var/lib/weaviate \\
  -e DEFAULT_VECTORIZER_MODULE=none \\
  -e CLUSTER_HOSTNAME=node1 \\
  -v $(pwd)/weaviate-data:/var/lib/weaviate \
  cr.weaviate.io/semitechnologies/weaviate:1.25.0

# ट्रांसफॉर्मर वेक्टराइज़र के साथ
docker run -d \\
  --name weaviate \\
  -p 8080:8080 \
  -e DEFAULT_VECTORIZER_MODULE=text2vec-transformers \
  -e TRANSFORMERS_INFERENCE_API=http://t2v-transformers:8080 \
  cr.weaviate.io/semitechnologies/weaviate:1.25.0

इनके लिए सर्वश्रेष्ठ: मल्टी-मोडल खोज, नॉलेज ग्राफ़, जेनरेटिव खोज

---

कब किसका उपयोग करें

पैमाना-आधारित निर्णय

< 100K vectors    → ChromaDB (embedded)
100K - 10M        → Qdrant (best balance)
10M - 1B          → Milvus or Qdrant (clustered)
1B+               → Milvus (distributed)

उपयोग-मामला-आधारित निर्णय

उपयोग-प्रकरण	सर्वश्रेष्ठ विकल्प	क्यों
RAG प्रोटोटाइप	ChromaDB	बिना सेटअप, सरल API
प्रोडक्शन RAG	Qdrant	तेज़ फ़िल्टरिंग, सरल संचालन
सार्थक खोज	Qdrant या Milvus	सर्वोत्तम प्रदर्शन
बहु-मोडल	Weaviate	अंतर्निहित इमेज/ऑडियो समर्थन
नॉलेज ग्राफ़	Weaviate	ग्राफ़ ट्रैवर्सल क्वेरीज़
अरब-स्तरीय	Milvus	वितरित आर्किटेक्चर
हाइब्रिड खोज	Qdrant या Weaviate	BM25 + वेक्टर
एंटरप्राइज़	Milvus या Weaviate	RBAC, ऑडिट लॉग

---

Clore.ai पर मेमोरी आवश्यकताएँ

RAM अनुमान सूत्र

आवश्यक RAM ≈ (vectors × dimensions × 4 bytes) × 1.5 (overhead)

उदाहरण: 1M vectors × 1536 dims × 4 bytes × 1.5 = 9.2GB RAM

क्वांटाइज़ेशन के साथ (Qdrant binary):
1M × 1536 / 8 × 1.5 = 0.29GB RAM (32× संपीड़न!)

अनुशंसित सर्वर स्पेक्स

डेटासेट आकार	ChromaDB	Qdrant	Milvus	Weaviate
1M वेक्टर	16GB RAM	8GB RAM	32GB RAM	16GB RAM
10M वेक्टर	❌	32GB RAM	64GB RAM	48GB RAM
100M वेक्टर	❌	128GB+	256GB+	256GB+

---

त्वरित तुलना: Docker सेटअप समय

डेटाबेस	docker run तैयार होने तक	निर्भरताएँ
ChromaDB	~5 seconds	कोई नहीं
Qdrant	~3 seconds	कोई नहीं
Milvus	~60 seconds	etcd + MinIO
Weaviate	~15 सेकंड	कोई नहीं (स्वतंत्र)

---

मूल्य निर्धारण (Clore.ai पर स्व-होस्टेड)

चारों डेटाबेस हैं निःशुल्क स्व-होस्ट करने के लिए निःशुल्क हैं। लागत केवल Clore.ai सर्वर किराया है:

उदाहरण: 1M वेक्टर वाला RAG सिस्टम
- Qdrant: 8GB RAM सर्वर ~$0.10/घंटा
- ChromaDB: 16GB RAM सर्वर ~$0.15/घंटा  
- Weaviate: 16GB RAM सर्वर ~$0.15/घंटा
- Milvus: 32GB RAM सर्वर ~$0.30/घंटा (+ etcd/minio के लिए अतिरिक्त ओवरहेड)

---

उपयोगी लिंक

• ChromaDB दस्तावेज़

• Qdrant दस्तावेज़

• Milvus दस्तावेज़

• Weaviate दस्तावेज़

• ANN बेंचमार्क

• Qdrant द्वारा वेक्टर DB बेंचमार्क

---

सारांश

...से शुरू करें	यदि आपको चाहिए...
ChromaDB	त्वरित प्रोटोटाइप, <1M वेक्टर, न्यूनतम सेटअप
Qdrant	प्रोडक्शन RAG, बेहतरीन फ़िल्टरिंग, संचालन संबंधी सरलता
Milvus	अरब-स्तरीय, एंटरप्राइज़, वितरित आर्किटेक्चर
Weaviate	बहु-मोडल, नॉलेज ग्राफ़, GraphQL क्वेरी करना

Clore.ai पर अधिकांश प्रोडक्शन RAG अनुप्रयोगों के लिए, Qdrant प्रदर्शन, सुविधाओं और संचालन संबंधी सरलता का सर्वोत्तम संतुलन प्रदान करता है। बड़े पैमाने या एंटरप्राइज़ आवश्यकताओं के लिए, Milvus उद्योग मानक है।

---

Clore.ai GPU अनुशंसाएँ

उपयोग-प्रकरण	अनुशंसित GPU	Clore.ai पर अनुमानित लागत
विकास/परीक्षण	RTX 3090 (24GB)	$0.07–0.21/gpu/hr
प्रोडक्शन	RTX 4090 (24GB)	$0.14–0.42/gpu/hr
बड़े पैमाने पर	A100 80GB	bare metal

💡 इस गाइड के सभी उदाहरण Clore.ai GPU servers पर तैनात किए जा सकते हैं। उपलब्ध GPUs ब्राउज़ करें और घंटे के हिसाब से किराए पर लें — कोई प्रतिबद्धता नहीं, पूर्ण root access.