For the complete documentation index, see llms.txt. This page is also available as Markdown.

ИИ-ассистент LobeChat

Разверните LobeChat на Clore.ai — потрясающий, многофункциональный AI-чат-интерфейс с поддержкой нескольких провайдеров, базой знаний и плагинами, работающий на доступных облачных серверах на GPU.

Обзор

LobeChat Это современный AI-фреймворк для чата с открытым исходным кодом, имеющий более 55 тыс. звёзд на GitHub, известный своим отточенным интерфейсом и широким набором функций. Он поддерживает практически всех основных провайдеров LLM — OpenAI, Anthropic Claude, Google Gemini, Mistral и локальные модели через Ollama — всё из одного саморазмещаемого интерфейса.

Зачем запускать LobeChat на Clore.ai?

  • Графический процессор не требуется — сам LobeChat — это лёгкое веб-приложение. Экземпляров Clore.ai только на CPU или с минимальным GPU вполне достаточно для интерфейса.

  • Используйте вместе с локальными LLM — запустите Ollama или vLLM на том же сервере Clore.ai и укажите его в LobeChat для полностью локального, приватного инференса.

  • Доступный хостинг — базовый экземпляр Clore.ai стоит лишь малую часть стоимости традиционных VPS-провайдеров, и вы можете выключать его, когда он не используется.

  • Полный контроль над данными — в режиме базы данных все разговоры, файлы и эмбеддинги хранятся в вашем собственном экземпляре PostgreSQL на сервере.

LobeChat работает в двух различных режимах:

Режим
Описание
Лучше всего для

Автономный

Один Docker-контейнер, настройки хранятся в браузере

Быстрое тестирование, личное использование

База данных

Полный стек (PostgreSQL + MinIO + Auth + приложение)

Команды, постоянная история, база знаний


Требования

Технические характеристики сервера

Компонент
Минимум
Рекомендуется
Примечания

GPU

Не требуется

RTX 3090 (если запускаете локальные LLM)

Требуется только для backend Ollama/vLLM

VRAM

—

24 ГБ (RTX 3090)

Для локального инференса моделей

CPU

2 vCPU

4+ vCPU

Сам LobeChat очень лёгкий

ОЗУ

2 ГБ

8 ГБ

4+ ГБ, если используется режим базы данных

Хранилище

10 ГБ

50+ ГБ

Больше, если хранить загруженные файлы или модели

Справка по ценам Clore.ai

Тип сервера
Примерная стоимость
Сценарий использования

Инстанс только на CPU

~0,05–0,10 $/час

Только автономный LobeChat

RTX 3090 (24 ГБ VRAM)

$0.07–0.21/ч

LobeChat + локальные LLM Ollama

RTX 4090 (24 ГБ VRAM)

$0.14–0.42/ч

LobeChat + более быстрый локальный инференс

A100 80 ГБ

LobeChat + большие модели (70B+)

💡 Совет: Если вы используете только API (подключаясь к OpenAI, Anthropic и т. д.), подойдёт любой небольшой экземпляр. Сервер с GPU имеет смысл только если вы также хотите запускать локальные LLM. См. Руководство по сравнению GPU подробности.

Предварительные требования

  • Учетная запись Clore.ai с развернутым сервером

  • Доступ по SSH к вашему серверу

  • Docker и Docker Compose (предустановлены на серверах Clore.ai)

  • Драйверы NVIDIA (предустановлены; актуально только при использовании локального backend LLM)

  • Как минимум один API-ключ (OpenAI, Anthropic и т. д.) или локальный экземпляр Ollama


Быстрый старт

Вариант A: автономный режим (рекомендуется для начала)

В автономном режиме LobeChat запускается как один контейнер. Настройки и история разговоров хранятся в локальном хранилище браузера — база данных не требуется.

Шаг 1: Подключитесь к вашему серверу Clore.ai

Шаг 2: Скачайте и запустите LobeChat

Шаг 3: Проверьте, что он запущен

Шаг 4: Откройте интерфейс

Откройте браузер и перейдите по адресу:

⚠️ Примечание по безопасности: Серверы Clore.ai доступны из интернета. Рассмотрите возможность установить ACCESS_CODE для защиты экземпляра паролем (см. раздел конфигурации ниже).


Вариант B: автономный режим с несколькими провайдерами

Передайте несколько API-ключей, чтобы одновременно поддерживать разных провайдеров:


Вариант C: с локальным backend Ollama

Если у вас Ollama запущена на том же сервере Clore.ai (см. Руководство по Ollama):

В Linux замените host-gateway на фактический IP Docker bridge, обычно 172.17.0.1:


Вариант D: режим базы данных (Docker Compose)

Режим базы данных включает постоянную историю разговоров, поддержку нескольких пользователей, загрузку файлов в S3-совместимое хранилище и полную базу знаний.

Шаг 1: Создайте каталог проекта

Шаг 2: Создайте docker-compose.yml

Шаг 3: Запустите стек

Шаг 4: Создайте бакет MinIO


Конфигурация

Справочник по переменным окружения

Переменная
Описание
По умолчанию

OPENAI_API_KEY

ключ API OpenAI

—

OPENAI_PROXY_URL

Пользовательский endpoint, совместимый с OpenAI

https://api.openai.com/v1

ANTHROPIC_API_KEY

API-ключ Anthropic Claude

—

GOOGLE_API_KEY

API-ключ Google Gemini

—

MISTRAL_API_KEY

API-ключ Mistral AI

—

OLLAMA_PROXY_URL

URL к локальному экземпляру Ollama

—

ACCESS_CODE

Пароль для защиты интерфейса

—

DEFAULT_AGENT_CONFIG

JSON-конфиг для поведения ассистента по умолчанию

—

FEATURE_FLAGS

Включение/отключение отдельных функций

—

Включение отдельных функций

Включить плагин веб-поиска:

Включить преобразование текста в речь:

Установить собственный системный prompt для агента по умолчанию:

Обновление LobeChat

Для Docker Compose:


Ускорение на GPU

Сам LobeChat не не требует GPU. Однако в сочетании с backend с аппаратным ускорением на Clore.ai вы получаете локальный, приватный инференс LLM:

Связка с vLLM (высокопроизводительный инференс)

См. Руководство по vLLM для полной настройки. Быстрая интеграция:

Использование ресурсов

Backend
Используется VRAM GPU
Примерная производительность

Ollama (Llama 3.2 3B)

~2 ГБ

50–80 токенов/с на 3090

Ollama (Llama 3.1 8B)

~6 ГБ

40–60 токенов/с на 3090

vLLM (Llama 3.1 8B)

~16 ГБ

80–150 токенов/с на 3090

vLLM (Llama 3.1 70B)

~80 ГБ

20–40 токенов/с на A100 80GB


Советы и лучшие практики

Оптимизация затрат

  • Останавливайте сервер, когда он не используется. Clore.ai тарифицируется почасово — используйте панель управления, чтобы приостанавливать экземпляры, которыми вы не пользуетесь.

  • Автономный режим для личного использования. Если вам не нужна поддержка нескольких пользователей или постоянная серверная история, автономный режим избавляет от накладных расходов PostgreSQL и MinIO.

  • Используйте API-провайдеров для больших моделей. Маршрутизация запросов к Claude или GPT-4 через внешние API дешевле, чем аренда H100 для редких запросов.

Безопасность

  • Никогда не открывайте LobeChat без ACCESS_CODE на публичном IP.

  • Если планируете долгосрочную работу, рассмотрите использование обратного прокси Nginx с HTTPS.

  • Смените API-ключи, если подозреваете их утечку.

Производительность

  • Для режима базы данных с 10+ одновременными пользователями убедитесь, что на хосте есть как минимум 8 ГБ ОЗУ.

  • MinIO работает лучше на хранилище с SSD (экземпляры Clore.ai NVMe).

Сохранение между сессиями Clore.ai

Поскольку серверы Clore.ai могут быть завершены:

Регулярно экспортируйте разговоры через Settings → Data Export в интерфейсе.


Устранение неполадок

Контейнер не запускается

Не удаётся подключиться к Ollama из LobeChat

Ошибки подключения к базе данных (режим базы данных)

Изображения/файлы не загружаются (режим базы данных)

Ошибки нехватки памяти


Дополнительное чтение

Последнее обновление

Это было полезно?