Weaviate

Weaviate является AI-нативной, открытой в исходном коде векторной базой данных, разработанной для семантического поиска, гибридного поиска и приложений RAG (Retrieval-Augmented Generation). Она хранит как объекты, так и их векторные эмбеддинги и поддерживает встроенную интеграцию ML-моделей.

Обзор

Weaviate выходит за рамки традиционных векторных баз данных, нативно интегрируя ML-модели для автоматической векторизации при импорте и во время запросов. Она поддерживает несколько типов данных (текст, изображения, видео, аудио), встроенный гибридный поиск, объединяющий BM25 и векторную похожесть, а также многопользовательские (multi-tenant) развёртывания. Weaviate готова к производственной эксплуатации, облачно-нативна и спроектирована для масштабирования от прототипов до миллиардов векторов.

Свойство	Значение
Категория	Векторная база данных / Инфраструктура RAG
Разработчик	Weaviate B.V.
Лицензия	BSD 3-Clause
GitHub	weaviate/weaviate
Звезды	12K+
Docker-образ	cr.weaviate.io/semitechnologies/weaviate
Порты	22 (SSH), 8080 (HTTP API / GraphQL)

---

Ключевые возможности

• Гибридный поиск: векторы + ключевые слова — комбинируйте полнотекстовый BM25 с векторной похожестью в одном запросе

• Встроенные векторизаторы — автоматически векторизуйте данные при импорте с помощью OpenAI, Cohere, HuggingFace или локальных моделей

• Мультимодальность — храните и ищите текст, изображения, видео, аудио в одной базе данных

• GraphQL API — выразительный язык запросов для сложных семантических запросов

• REST API — полные операции CRUD и управление схемой

• Многопользовательская изоляция (Multi-tenancy) — изолируйте данные по арендаторам при общей инфраструктуре

• Индексация HNSW — быстрый приближённый поиск ближайших соседей

• Фильтрованный поиск — комбинируйте векторный поиск с традиционными фильтрами метаданных

• Генеративный поиск — встроенный RAG с интеграцией больших языковых моделей

• Горизонтальное масштабирование — шардинг и репликация по нескольким узлам

• Система модулей — подключайте векторизаторы, ридеры, генераторы

---

Настройка Clore.ai

Шаг 1 — Выбор оборудования

Сценарий использования	Рекомендуется	ОЗУ	Хранилище
Разработка / прототипирование	Экземпляр CPU	8 ГБ	20 ГБ
Небольшое продакшен-окружение (< 1M векторов)	Экземпляр CPU	16 ГБ	50 ГБ
Крупномасштабное (10M+ векторов)	GPU-инстанс	32 ГБ+	200 ГБ+
Векторизация с ускорением на GPU	RTX 4090	24 ГБ	100 ГБ

Сам Weaviate работает на CPU. Используйте GPU-инстансы на Clore.ai, когда вам нужна локальная модель эмбеддингов вывод (inference) (например, text2vec-transformers с локальной моделью) для быстрой векторизации при импорте.

Шаг 2 — Арендуйте сервер на Clore.ai

1. Перейдите на clore.ai → Маркетплейс

2. Для чистого векторного поиска: CPU-инстансы с ≥ 16 ГБ ОЗУ

3. Для ускорённых на GPU эмбеддингов: RTX 3090 или 4090

4. Открытые порты: 22 и 8080

5. Убедитесь, ≥ 50 ГБ диска для хранения векторов

Шаг 3 — Развёртывание с Docker

Минимальное развёртывание (без векторизатора):

docker run -d \
    --name weaviate \
    -p 8080:8080 \
    -p 50051:50051 \
    -v /opt/weaviate/data:/var/lib/weaviate \
    -e QUERY_DEFAULTS_LIMIT=20 \
    -e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true \
    -e PERSISTENCE_DATA_PATH=/var/lib/weaviate \
    -e DEFAULT_VECTORIZER_MODULE=none \
    -e ENABLE_MODULES="" \
    -e CLUSTER_HOSTNAME=node1 \
    cr.weaviate.io/semitechnologies/weaviate:latest

С векторизатором OpenAI:

docker run -d \
    --name weaviate \
    -p 8080:8080 \
    -v /opt/weaviate/data:/var/lib/weaviate \
    -e QUERY_DEFAULTS_LIMIT=20 \
    -e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true \
    -e PERSISTENCE_DATA_PATH=/var/lib/weaviate \
    -e DEFAULT_VECTORIZER_MODULE=text2vec-openai \
    -e ENABLE_MODULES=text2vec-openai,generative-openai \
    -e OPENAI_APIKEY=<your-openai-key> \
    -e CLUSTER_HOSTNAME=node1 \
    cr.weaviate.io/semitechnologies/weaviate:latest

С локальным векторизатором HuggingFace (ускорение на GPU):

# docker-compose.yml
version: '3.4'

services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:latest
    restart: unless-stopped
    ports:
      - "8080:8080"
      - "50051:50051"
    volumes:
      - /opt/weaviate/data:/var/lib/weaviate
    environment:
      QUERY_DEFAULTS_LIMIT: 20
      AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
      PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
      DEFAULT_VECTORIZER_MODULE: text2vec-transformers
      ENABLE_MODULES: 'text2vec-transformers,generative-openai'
      TRANSFORMERS_INFERENCE_API: 'http://t2v-transformers:8080'
      CLUSTER_HOSTNAME: 'node1'

  t2v-transformers:
    image: cr.weaviate.io/semitechnologies/transformers-inference:sentence-transformers-multi-qa-MiniLM-L6-cos-v1
    environment:
      ENABLE_CUDA: '1'
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

Запуск:

mkdir -p /opt/weaviate/data
docker-compose up -d

---

Доступ к API

HTTP/REST API

http://<server-ip>:8080

GraphQL endpoint

http://<server-ip>:8080/v1/graphql

Проверка состояния (Health Check)

curl http://<server-ip>:8080/v1/.well-known/ready
# Возвращает: {}  (HTTP 200 = здорово)

Через SSH

ssh root@<server-ip> -p 22

---

Клиент на Python

Установка

pip install weaviate-client

Подключение

import weaviate
import weaviate.classes as wvc

# Подключитесь к вашему инстансу Clore.ai
client = weaviate.connect_to_custom(
    http_host="<server-ip>",
    http_port=8080,
    http_secure=False,
    grpc_host="<server-ip>",
    grpc_port=50051,
    grpc_secure=False,
)

print(client.is_ready())  # True, если система здорова

---

Схема и коллекции

Создать коллекцию

import weaviate
import weaviate.classes as wvc
from weaviate.classes.config import Configure, Property, DataType

client = weaviate.connect_to_custom(
    http_host="<server-ip>", http_port=8080,
    grpc_host="<server-ip>", grpc_port=50051,
    http_secure=False, grpc_secure=False,
)

# Создать коллекцию (в v3 называлось "class")
client.collections.create(
    name="Article",
    vectorizer_config=Configure.Vectorizer.none(),  # Мы предоставим собственные векторы
    # Или: Configure.Vectorizer.text2vec_openai() для авто-векторизации
    properties=[
        Property(name="title", data_type=DataType.TEXT),
        Property(name="content", data_type=DataType.TEXT),
        Property(name="author", data_type=DataType.TEXT),
        Property(name="published_date", data_type=DataType.DATE),
        Property(name="tags", data_type=DataType.TEXT_ARRAY),
        Property(name="view_count", data_type=DataType.INT),
    ],
)
print("Коллекция 'Article' создана")

---

Импорт данных

Пакетный импорт с заранее вычисленными векторами

import weaviate
import numpy as np
from sentence_transformers import SentenceTransformer

client = weaviate.connect_to_custom(
    http_host="<server-ip>", http_port=8080,
    grpc_host="<server-ip>", grpc_port=50051,
    http_secure=False, grpc_secure=False,
)

# Загрузить модель эмбеддингов
encoder = SentenceTransformer("all-MiniLM-L6-v2")

# Пример статей
articles = [
    {"title": "Introduction to RAG", "content": "RAG combines retrieval with generation..."},
    {"title": "Vector Databases Explained", "content": "Vector databases store high-dimensional embeddings..."},
    {"title": "Weaviate Best Practices", "content": "For production Weaviate deployments, consider..."},
    {"title": "GPU Cloud Computing", "content": "Clore.ai provides decentralized GPU access..."},
]

# Пакетный импорт с векторами
collection = client.collections.get("Article")

with collection.batch.dynamic() as batch:
    for article in articles:
        # Вычислить вектор
        vector = encoder.encode(article["content"]).tolist()

        batch.add_object(
            properties={
                "title": article["title"],
                "content": article["content"],
            },
            vector=vector,
        )

print(f"Импортировано {len(articles)} статей")

Автовекторизация с OpenAI (при импорте)

# Когда коллекция использует векторизатор text2vec-openai,
# просто вставляйте данные — вектор не требуется
collection = client.collections.get("ArticleOpenAI")

with collection.batch.dynamic() as batch:
    for article in articles:
        batch.add_object(
            properties={
                "title": article["title"],
                "content": article["content"],
            }
            # Нет вектора = Weaviate автo-векторизует через OpenAI
        )

---

Запросы

Семантический (векторный) поиск

# Найти статьи, семантически похожие на запрос
results = collection.query.near_text(
    query="how to store embeddings efficiently",
    limit=5,
    return_properties=["title", "content"],
    return_metadata=wvc.query.MetadataQuery(distance=True),
)

for obj in results.objects:
    print(f"Заголовок: {obj.properties['title']}")
    print(f"Расстояние: {obj.metadata.distance:.4f}")
    print()

Гибридный поиск (вектор + BM25)

# Комбинируйте семантический и поисковый по ключевым словам
results = collection.query.hybrid(
    query="RAG retrieval augmented generation",
    alpha=0.5,  # 0.0 = чистый BM25, 1.0 = чистый вектор, 0.5 = сбалансированный
    limit=5,
    return_properties=["title", "content"],
    return_metadata=wvc.query.MetadataQuery(score=True),
)

for obj in results.objects:
    print(f"Заголовок: {obj.properties['title']}")
    print(f"Гибридный скор: {obj.metadata.score:.4f}")

Поисковый запрос по ключевым словам (BM25)

results = collection.query.bm25(
    query="vector database indexing",
    limit=5,
    return_properties=["title"],
)

Фильтрованный поиск

from weaviate.classes.query import Filter

# Комбинируйте векторный поиск с фильтром метаданных
results = collection.query.near_text(
    query="machine learning training",
    limit=10,
    filters=Filter.by_property("view_count").greater_than(1000),
    return_properties=["title", "view_count"],
)

GraphQL-запрос

import requests

query = """
{
    Get {
        Article(
            nearText: {concepts: ["artificial intelligence"]}
            limit: 5
        ) {
            title
            content
            _additional {
                distance
                id
            }
        }
    }
}
"""

response = requests.post(
    "http://<server-ip>:8080/v1/graphql",
    json={"query": query},
)
data = response.json()
for article in data["data"]["Get"]["Article"]:
    print(article["title"])

---

Генеративный поиск (RAG)

from weaviate.classes.generate import GenerateOptions

# Настроить коллекцию с модулем генерации (OpenAI)
# Требует ENABLE_MODULES=generative-openai

results = collection.generate.near_text(
    query="how to build a RAG system",
    limit=3,
    grouped_task="Summarize these articles and explain the key steps to build a RAG system.",
    grouped_properties=["title", "content"],
)

print("RAG Answer:")
print(results.generated)
print("\nИсходные статьи:")
for obj in results.objects:
    print(f"  - {obj.properties['title']}")

---

Многопользовательская изоляция

from weaviate.classes.config import Configure

# Создать мультиарендаторную коллекцию
client.collections.create(
    name="UserDocuments",
    multi_tenancy_config=Configure.multi_tenancy(enabled=True),
    properties=[
        Property(name="content", data_type=DataType.TEXT),
        Property(name="filename", data_type=DataType.TEXT),
    ],
)

# Создать арендаторов
collection = client.collections.get("UserDocuments")
collection.tenants.create([
    wvc.config.Tenant(name="user_alice"),
    wvc.config.Tenant(name="user_bob"),
])

# Вставить данные для конкретного арендатора
tenant_collection = collection.with_tenant("user_alice")
tenant_collection.data.insert({"content": "Alice's private document", "filename": "doc1.pdf"})

# Запрос в пределах арендатора
results = collection.with_tenant("user_alice").query.near_text(
    query="private document",
    limit=5,
)

---

Примеры REST API

# Создать класс схемы
curl -X POST http://<server-ip>:8080/v1/schema \
    -H "Content-Type: application/json" \
    -d '{
        "class": "Product",
        "vectorizer": "none",
        "properties": [
            {"name": "name", "dataType": ["text"]},
            {"name": "description", "dataType": ["text"]},
            {"name": "price", "dataType": ["number"]}
        ]
    }'

# Добавить объект с вектором
curl -X POST http://<server-ip>:8080/v1/objects \
    -H "Content-Type: application/json" \
    -d '{
        "class": "Product",
        "properties": {
            "name": "GPU Cloud Access",
            "description": "Decentralized GPU marketplace",
            "price": 0.5
        },
        "vector": [0.1, 0.2, 0.3, ...]
    }'

# Векторный поиск
curl http://<server-ip>:8080/v1/objects?class=Product&limit=5

# Проверка состояния
curl http://<server-ip>:8080/v1/.well-known/ready

---

Устранение неполадок

Weaviate не запускается — Проверьте свободное место на диске (df -h). Weaviate требует доступного для записи пространства по пути данных. Также проверьте, что порт 8080 открыт в настройках Clore.ai.

Медленный импорт — Включите пакетный импорт (collection.batch.dynamic() или fixed_size()). Избегайте импорта по одному объекту для больших наборов данных. Оптимальный размер пакета — 100–500.

Высокое потребление памяти — Weaviate держит векторный индекс в оперативной памяти для быстрого поиска. Для 1M векторов размерности 768: ~6 ГБ ОЗУ. Планируйте соответственно при выборе размера инстанса в Clore.ai.

Не удаётся подключиться через Python-клиент — Убедитесь, что оба порта 8080 (HTTP) и 50051 (gRPC) открыты. Python-клиент v4 по умолчанию использует gRPC.

Проблема	Решение
Соединение отклонено	Подождите старта (~30 сек), проверьте docker ps, проверьте порты
Схема уже существует	Сначала удалите коллекцию: client.collections.delete("Name")
Недостаточно памяти	Увеличьте ОЗУ или уменьшите размерность векторов
Медленный векторный поиск	Добавьте HNSW-индекс или проверьте размер набора данных относительно доступной ОЗУ

---

Советы по производительности

1. Используйте пакетные импорты — в 10–50 раз быстрее, чем одиночные вставки

2. Выберите правильную модель эмбеддингов — all-MiniLM-L6-v2 (384 измерения) быстрый; text-embedding-3-large (3072 измерения) обеспечивает лучшее качество, но использует в 8 раз больше ОЗУ

3. Параметр alpha для гибридного поиска — настройте alpha для вашего случая: 0.25 для запросов с упором на ключевые слова, 0.75 для семантических запросов

4. Параметры HNSW — ef и efConstruction контролируют компромисс между полнотой поиска и скоростью

5. Изоляция арендаторов — используйте multi-tenancy для SaaS-приложений; это масштабируется гораздо лучше, чем отдельные коллекции на пользователя

---

Связанные инструменты

• Qdrant — Векторная база данных на Rust с фильтрами полезной нагрузки

• ChromaDB — лёгкая база данных для эмбеддингов

• Milvus — векторная база данных для крупномасштабных задач

---

Weaviate на Clore.ai предоставляет вам векторную базу данных промышленного уровня с GPU-ускоренной векторизацией — идеально подходит для создания масштабируемых RAG-систем и приложений семантического поиска.

---

Рекомендации Clore.ai по GPU

Сценарий использования	Рекомендуемый GPU	Примерная стоимость на Clore.ai
Разработка/Тестирование	RTX 3090 (24GB)	~$0.12/gpu/hr
Производственный векторный поиск	RTX 3090 (24GB)	~$0.12/gpu/hr
Высокопропускная способность эмбеддингов	RTX 4090 (24GB)	~$0.70/gpu/hr

💡 Все примеры в этом руководстве можно развернуть на Clore.ai GPU-серверах. Просматривайте доступные GPU и арендуйте по часам — без обязательств, с полным root-доступом.