Помощник LobeChat

Разверните LobeChat на Clore.ai — впечатляющий, богатый функциями интерфейс чата ИИ с поддержкой нескольких провайдеров, базой знаний и плагинами, работающий на доступных облачных серверах с GPU.

Обзор

LobeChatarrow-up-right — это современная, с открытым исходным кодом платформа для общения с ИИ с более чем 55 тыс. звезд на GitHub, известная своим отполированным интерфейсом и обширным набором функций. Она поддерживает практически всех крупных поставщиков LLM — OpenAI, Anthropic Claude, Google Gemini, Mistral и локальные модели через Ollama — всё из единого, размещаемого самостоятельно интерфейса.

Почему запускать LobeChat на Clore.ai?

  • GPU не требуется — Сам LobeChat является лёгким веб-приложением. CPU-only или инстансы с минимальным GPU на Clore.ai полностью достаточны для интерфейса.

  • Сопряжение с локальными LLM — Запустите Ollama или vLLM на том же сервере Clore.ai и укажите LobeChat использовать их для полностью локального, приватного вывода.

  • Доступный хостинг — Базовый инстанс Clore.ai стоит лишь часть от цены традиционных VPS-провайдеров, и вы можете выключать его, когда он не используется.

  • Полная собственность над данными — Режим базы данных сохраняет все разговоры, файлы и встраивания в вашей собственной PostgreSQL-инстанции на сервере.

LobeChat работает в двух различных режимах:

Режим
Описание
Лучше всего для

Автономный

Один Docker-контейнер, настройки хранятся в браузере

Быстрое тестирование, личное использование

С базой данных

Полный стек (PostgreSQL + MinIO + Auth + App)

Команды, постоянная история, база знаний


Требования

Спецификации сервера

Компонент
Минимум
Рекомендуется
Примечания

GPU

Не требуется

RTX 3090 (если запускать локальные LLM)

Требуется только для бэкенда Ollama/vLLM

VRAM

24 ГБ (RTX 3090)

Для вывода локальных моделей

CPU

2 vCPU

4+ vCPU

Сам LobeChat лёгкий

ОЗУ

2 GB

8 ГБ

4+ ГБ при использовании режима базы данных

Хранилище

10 ГБ

50+ ГБ

Больше — если хранить загруженные файлы или модели

Справка по ценам Clore.ai

Тип сервера
Примерная стоимость
Случай использования

Инстанс только с CPU

~$0.05–0.10/час

Только автономный LobeChat

RTX 3090 (24 ГБ VRAM)

≈ $0.20/ч

LobeChat + Ollama локальные LLM

RTX 4090 (24 ГБ VRAM)

≈ $0.35/ч

LobeChat + более быстрая локальная инференция

A100 80 GB

≈ $1.10/ч

LobeChat + крупные модели (70B+)

💡 Подсказка: Для использования только через API (подключение к OpenAI, Anthropic и т.д.) подойдёт любой небольшой инстанс. Сервер с GPU имеет смысл только если вы также хотите запускать локальные LLM. См. Руководство по сравнению GPU для подробностей.

Требования

  • Аккаунт Clore.ai с развернутым сервером

  • SSH-доступ к вашему серверу

  • Docker и Docker Compose (предустановлены на серверах Clore.ai)

  • Драйверы NVIDIA (предустановлены; актуально только при использовании локального LLM-бэкенда)

  • По крайней мере один API-ключ (OpenAI, Anthropic и т.д.) или локальный инстанс Ollama


Быстрый старт

Вариант A: Автономный режим (рекомендуется для начала)

Автономный режим запускает LobeChat как один контейнер. Настройки и история разговоров хранятся в локальном хранилище браузера — база данных не требуется.

Шаг 1: Подключитесь к вашему серверу Clore.ai

Шаг 2: Загрузите и запустите LobeChat

Шаг 3: Убедитесь, что он запущен

Шаг 4: Доступ к интерфейсу

Откройте браузер и перейдите по адресу:

⚠️ Примечание по безопасности: Серверы Clore.ai общедоступны. Рассмотрите возможность установки ACCESS_CODE чтобы защитить ваш инстанс паролем (см. раздел Конфигурация ниже).


Вариант B: Автономный с несколькими провайдерами

Передайте несколько API-ключей, чтобы поддерживать разных провайдеров одновременно:


Вариант C: С локальным бэкендом Ollama

Если у вас запущен Ollama на том же сервере Clore.ai (см. Руководство по Ollama):

В Linux замените host-gateway на фактический IP Docker bridge, обычно 172.17.0.1:


Вариант D: Режим базы данных (Docker Compose)

Режим базы данных обеспечивает постоянную историю разговоров, поддержку нескольких пользователей, загрузку файлов в хранилище, совместимое с S3, и полную базу знаний.

Шаг 1: Создайте каталог проекта

Шаг 2: Создайте docker-compose.yml

Шаг 3: Запустите стек

Шаг 4: Создайте бакет MinIO


Конфигурация

Справочник переменных окружения

Переменная
Описание
По умолчанию

OPENAI_API_KEY

Ключ OpenAI API

OPENAI_PROXY_URL

Пользовательский endpoint, совместимый с OpenAI

https://api.openai.com/v1

ANTHROPIC_API_KEY

Ключ API Anthropic Claude

GOOGLE_API_KEY

Ключ API Google Gemini

MISTRAL_API_KEY

Ключ API Mistral AI

OLLAMA_PROXY_URL

URL локального инстанса Ollama

ACCESS_CODE

Пароль для защиты интерфейса

DEFAULT_AGENT_CONFIG

JSON-конфигурация для поведения помощника по умолчанию

FEATURE_FLAGS

Включение/отключение определённых функций

Включение конкретных функций

Включить плагин веб-поиска:

Включить преобразование текста в речь:

Задать пользовательский системный промпт для агента по умолчанию:

Обновление LobeChat

Для Docker Compose:


Ускорение с помощью GPU

Сам LobeChat не не требует GPU. Однако при сопряжении с бэкендом, ускоренным на GPU на Clore.ai, вы получаете локальную, приватную инференцию LLM:

Сопряжение с vLLM (высокопроизводительная инференция)

См. Руководство по vLLM для полной настройки. Быстрая интеграция:

Использование ресурсов

Бэкенд
Используемая VRAM GPU
Приблизительная пропускная способность

Ollama (Llama 3.2 3B)

~2 ГБ

50–80 токенов/сек на 3090

Ollama (Llama 3.1 8B)

~6 ГБ

40–60 токенов/сек на 3090

vLLM (Llama 3.1 8B)

~16 ГБ

80–150 токенов/сек на 3090

vLLM (Llama 3.1 70B)

~80 ГБ

20–40 токенов/сек на A100 80GB


Подсказки и лучшие практики

Оптимизация затрат

  • Останавливайте сервер, когда он простаивает. Clore.ai оплачивается поминутно/почасово — используйте панель управления, чтобы приостанавливать инстансы, которыми вы не пользуетесь активно.

  • Автономный режим для личного использования. Если вам не нужна поддержка нескольких пользователей или постоянная серверная история, автономный режим избегает накладных расходов PostgreSQL и MinIO.

  • Используйте провайдеров API для крупных моделей. Маршрутизация запросов к Claude или GPT-4 через внешние API дешевле, чем аренда H100 для эпизодических запросов.

Безопасность

  • Никогда не выставляйте LobeChat на публичный IP без ACCESS_CODE на публичном IP.

  • Рассмотрите использование обратного прокси Nginx с HTTPS при долгосрочном запуске.

  • Меняйте API-ключи, если подозреваете их утечку.

Производительность

  • Для режима базы данных с 10+ одновременных пользователей убедитесь, что на хосте не менее 8 ГБ ОЗУ.

  • MinIO работает лучше на накопителях с SSD (инстансы Clore.ai NVMe).

Сохранность между сессиями Clore.ai

Поскольку серверы Clore.ai могут быть завершены/удалены:

Регулярно экспортируйте разговоры через Настройки → Экспорт данных в интерфейсе.


Устранение неполадок

Контейнер не запускается

Не удаётся подключиться к Ollama из LobeChat

Ошибки подключения к базе данных (режим базы данных)

Изображения/файлы не загружаются (режим базы данных)

Ошибки из-за нехватки памяти


Дополнительное чтение

Последнее обновление

Это было полезно?