Text Generation WebUI

Запустите text-generation-webui для инференса LLM на GPU Clore.ai

Запускайте самый популярный интерфейс LLM с поддержкой всех форматов моделей.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Почему Text Generation WebUI?

• Поддерживает форматы GGUF, GPTQ, AWQ, EXL2, HF

• Встроенные режимы чата, блокнота и API

• Расширения: голос, персонажи, мультимодальность

• Поддержка тонкой настройки

• Переключение моделей на лету

Требования

Размер модели	Мин. VRAM	Рекомендуется
7B (Q4)	6 ГБ	RTX 3060
13B (Q4)	10 ГБ	RTX 3080
30B (Q4)	20 ГБ	RTX 4090
70B (Q4)	40 ГБ	A100

Быстрое развёртывание

Docker-образ:

atinoda/text-generation-webui:default-nvidia

Порты:

22/tcp
7860/http
5000/http
5005/http

Окружение:

EXTRA_LAUNCH_ARGS=--listen --api

Ручная установка

Образ:

nvidia/cuda:12.8.1-devel-ubuntu22.04

Порты:

22/tcp
7860/http
5000/http

Команда:

apt-get update && apt-get install -y git python3 python3-pip && \
cd /workspace && \
git clone https://github.com/oobabooga/text-generation-webui.git && \
cd text-generation-webui && \
pip install -r requirements.txt && \
python server.py --listen --api

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Откройте WebUI

1. Дождитесь развертывания

2. Найдите сопоставление порта 7860 в Мои заказы

3. Открыть: http://<proxy>:<port>

Скачать модели

С HuggingFace (в WebUI)

1. Перейдите на Модель вкладка

2. Введите имя модели: bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

3. Нажмите Скачать

Через командную строку

cd /workspace/text-generation-webui

# Скачать модель GGUF
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

# Скачать конкретный файл
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF --specific-file Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf

Рекомендуемые модели

Для чата:

# Llama 2 Chat (7B, быстро)
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

# Mistral Instruct (отлично)
python download-model.py bartowski/Mistral-7B-Instruct-v0.3-GGUF

# OpenHermes (отличный универсал)
python download-model.py bartowski/OpenHermes-2.5-Mistral-7B-GGUF

Для программирования:

# CodeLlama
python download-model.py bartowski/CodeLlama-13B-Instruct-GGUF

# DeepSeek Coder
python download-model.py bartowski/DeepSeek-Coder-V2-Lite-Instruct-GGUF

Для ролевых игр:

# MythoMax
python download-model.py bartowski/MythoMax-L2-13B-GGUF

Загрузка моделей

GGUF (рекомендуется большинству пользователей)

1. Модель вкладка → Выберите папку модели

2. Загрузчик модели: llama.cpp

3. Установите n-gpu-layers:

   • RTX 3090: 35-40

   • RTX 4090: 45-50

   • A100: 80+

4. Нажмите Загрузить

GPTQ (быстро, квантизировано)

1. Скачать модель GPTQ

2. Загрузчик модели: ExLlama_HF или AutoGPTQ

3. Загрузить модель

EXL2 (лучшая скорость)

# Установите exllamav2
pip install exllamav2

1. Скачать модель EXL2

2. Загрузчик модели: ExLlamav2_HF

3. Загрузить

Настройка чата

Настройка персонажа

1. Перейдите на Параметры → Персонаж

2. Создайте или загрузите карточку персонажа

3. Задайте:

   • Имя

   • Контекст/персона

   • Пример диалога

Режим Instruct

Для моделей, обученных по инструкциям:

1. Параметры → Шаблон инструкции

2. Выберите шаблон, соответствующий вашей модели:

   • Llama-2-chat

   • Mistral

   • ChatML

   • Alpaca

Использование API

Включить API

Начните с --api флаг (порт по умолчанию 5000)

API, совместимый с OpenAI

import openai

openai.api_base = "http://localhost:5000/v1"
openai.api_key = "not-needed"

response = openai.ChatCompletion.create(
    model="any",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Нативный API

import requests

response = requests.post(
    "http://localhost:5000/api/v1/generate",
    json={
        "prompt": "Напишите историю о",
        "max_new_tokens": 200,
        "temperature": 0.7
    }
)
print(response.json()["results"][0]["text"])

Расширения

Установка расширений

cd /workspace/text-generation-webui/extensions

# Silero TTS (голос)
git clone https://github.com/oobabooga/text-generation-webui-extensions

# SuperBoogav2 (RAG/долговременная память)

# Уже включено, включите в интерфейсе

Включить расширения

1. Сессия вкладка → Расширения

2. Поставьте флажки у нужных расширений

3. Нажмите Применить и перезапустить

Популярные расширения

Расширение	Назначение
silero_tts	Голосовой вывод
whisper_stt	Голосовой ввод
superbooga	Вопросы и ответы по документам
sd_api_pictures	Генерация изображений
multimodal	Понимание изображений

Настройка производительности

Настройки GGUF

n_gpu_layers: 35    # слои GPU (больше = быстрее)
n_ctx: 4096         # длина контекста
n_batch: 512        # размер пакета
threads: 8          # потоки CPU

Оптимизация памяти

При ограниченной VRAM:

python server.py --listen --n-gpu-layers 20 --no-mmap

Оптимизация скорости

# Используйте llama.cpp с cuBLAS
python server.py --listen --loader llama.cpp --n-gpu-layers 50 --threads 8

Дообучение (LoRA)

Вкладка обучения

1. Перейдите на Обучение вкладка

2. Загрузите базовую модель

3. Загрузите набор данных (формат JSON)

4. Настройте:

   • Ранг LoRA: 8-32

   • Скорость обучения: 1e-4

   • Эпохи: 3-5

5. Начните обучение

Формат набора данных

[
  {"instruction": "Суммируй это:", "input": "Длинный текст...", "output": "Краткое содержание..."},
  {"instruction": "Переведи на французский:", "input": "Привет", "output": "Bonjour"}
]

Сохранение вашей работы

# Сохранить модели
rsync -avz /workspace/text-generation-webui/models/ backup-server:/models/

# Сохранить персонажей
rsync -avz /workspace/text-generation-webui/characters/ backup-server:/characters/

# Сохранить LoRA
rsync -avz /workspace/text-generation-webui/loras/ backup-server:/loras/

Устранение неполадок

Модель не загружается

• Проверьте использование VRAM: nvidia-smi

• Уменьшите n_gpu_layers

• Используйте более низкую квантизацию (Q4_K_M → Q4_K_S)

Медленная генерация

• Увеличьте n_gpu_layers

• Используйте EXL2 вместо GGUF

• Включите --no-mmap

Не хватает памяти

во время генерации - уменьшите `n_ctx` (длину контекста) - используйте `--n-gpu-layers 0` только для CPU - попробуйте модель поменьше

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров