Aphrodite Engine

Запустите Aphrodite Engine для инференса LLM на старых и современных GPU на Clore.ai

Aphrodite Engine — это оптимизированный сервер инференса LLM, построенный на базе vLLM и специально адаптированный для сообщества творческого письма и ролевых игр. Он поддерживает широкий спектр GPU, начиная с Pascal (серия GTX 1000), что делает его идеальным выбором для запуска языковых моделей на старых или бюджетных GPU-серверах CLORE.AI, где другие фреймворки не справляются. Aphrodite добавляет API, совместимые с Kobold, сэмплирование Mirostat и продвинутые алгоритмы сэмплирования текста, которых нет в основных фреймворках сервинга.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Требования к серверу

Параметр	Минимум	Рекомендуется
ОЗУ	16 ГБ	32 ГБ+
VRAM	6 ГБ	16 ГБ+
Диск	40 ГБ	150 ГБ+
GPU	NVIDIA Pascal+ (GTX 1060+)	RTX 3090, A100

Aphrodite Engine — один из немногих серверов LLM, поддерживающих GPU поколения Pascal (серия GTX 10xx). Это делает его идеальным для бюджетных серверов на CLORE.AI со старыми GPU, у которых низкая стоимость аренды.

Быстрое развертывание на CLORE.AI

Docker-образ: alpindale/aphrodite-engine:latest

Порты: 22/tcp, 2242/http

Переменные среды:

Переменная	Пример	Описание
HF_TOKEN	hf_xxx...	Токен Hugging Face для моделей с ограниченным доступом
APHRODITE_MODEL	mistralai/Mistral-7B-Instruct-v0.3	Модель для загрузки

Пошаговая настройка

1. Арендуйте GPU-сервер на CLORE.AI

Широкая поддержка GPU у Aphrodite позволяет вам брать недорогие серверы на маркетплейс CLORE.AI:

• Pascal (GTX 1060–1080 Ti): 6–11 ГБ VRAM — запускайте небольшие модели 3B–7B с квантизацией

• Turing (серия RTX 2000): 8–24 ГБ VRAM — модели 7B–13B, лучшая производительность

• Ampere (RTX 3000/A100): 24–80 ГБ VRAM — модели 30B–70B, полная скорость

• Ada (серия RTX 4000): 16–24 ГБ VRAM — лучшее соотношение производительности и стоимости

2. Подключитесь по SSH

ssh -p <PORT> root@<SERVER_IP>

3. Скачайте образ Aphrodite Engine

docker pull alpindale/aphrodite-engine:latest

4. Запустите Aphrodite Engine

Базовый запуск с моделью 7B:

docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /root/models:/root/.cache/huggingface \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model mistralai/Mistral-7B-Instruct-v0.3 \\
    --host 0.0.0.0 \
    --port 2242 \\
    --max-model-len 4096

С токеном Hugging Face (Llama 3):

docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /root/models:/root/.cache/huggingface \\
  -e HF_TOKEN=hf_your_token_here \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model meta-llama/Meta-Llama-3-8B-Instruct \\
    --host 0.0.0.0 \
    --port 2242 \\
    --dtype bfloat16 \\
    --max-model-len 8192

С квантизацией GPTQ (при ограниченном объёме VRAM):

docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /root/models:/root/.cache/huggingface \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model TheBloke/Mistral-7B-Instruct-v0.2-GPTQ \\
    --host 0.0.0.0 \
    --port 2242 \\
    --quantization gptq \\
    --max-model-len 4096

С квантизацией AWQ:

docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /root/models:/root/.cache/huggingface \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model casperhansen/mistral-7b-instruct-v0.2-awq \\
    --host 0.0.0.0 \
    --port 2242 \\
    --quantization awq \\
    --max-model-len 4096

Запуск модели GGUF (Aphrodite нативно поддерживает GGUF):

# Сначала скачайте файл GGUF
docker exec -it aphrodite bash -c "
pip install huggingface_hub
python3 -c \"from huggingface_hub import hf_hub_download; hf_hub_download(
    repo_id='TheBloke/Mistral-7B-Instruct-v0.2-GGUF',
    filename='mistral-7b-instruct-v0.2.Q4_K_M.gguf',
    local_dir='/root/models/mistral-gguf'
)\"
"

# Затем запустите с GGUF
docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /root/models:/models \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model /models/mistral-gguf/mistral-7b-instruct-v0.2.Q4_K_M.gguf \\
    --host 0.0.0.0 \
    --port 2242 \\
    --tokenizer mistralai/Mistral-7B-Instruct-v0.2

5. Проверьте сервер

# Проверьте логи
docker logs -f aphrodite

# Проверка состояния
curl http://localhost:2242/health

# Список загруженных моделей
curl http://localhost:2242/v1/models

6. Доступ через HTTP-прокси CLORE.AI

Панель заказа CLORE.AI предоставляет http_pub URL для порта 2242. Используйте его в своих клиентских приложениях:

https://<order-id>-2242.clore.ai/v1

---

Примеры использования

Пример 1: чат, совместимый с OpenAI

curl http://localhost:2242/v1/chat/completions \\
  -X POST \\
  -H 'Content-Type: application/json' \\
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.3",
    "messages": [
      {"role": "system", "content": "Вы — писатель, специализирующийся на фэнтези."},
      {"role": "user", "content": "Начните короткий рассказ о драконе, который учится рисовать."}
    ],
    "max_tokens": 500,
    "temperature": 0.9,
    "top_p": 0.95
  }'

Пример 2: расширенное сэмплирование с Mirostat

Aphrodite поддерживает сэмплирование Mirostat для более связного длинного текста:

curl http://localhost:2242/v1/completions \\
  -X POST \\
  -H 'Content-Type: application/json' \\
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.3",
    "prompt": "Жил-был однажды в киберпанковом городе,",
    "max_tokens": 400,
    "mirostat_mode": 2,
    "mirostat_tau": 5.0,
    "mirostat_eta": 0.1
  }'

Пример 3: API, совместимый с Kobold

Aphrodite включает конечную точку, совместимую с Kobold, для использования с фронтендами на базе KoboldAI:

# Конечная точка генерации Kobold
curl http://localhost:2242/api/v1/generate \\
  -X POST \\
  -H 'Content-Type: application/json' \\
  -d '{
    "prompt": "Космический корабль вошёл в гиперпространство,",
    "max_length": 200,
    "temperature": 0.8,
    "top_p": 0.92,
    "rep_pen": 1.15
  }'

Пример 4: Python-клиент с пользовательскими сэмплерами

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:2242/v1",
    api_key="none",
)

# Творческое письмо с настроенными сэмплерами
response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[
        {
            "role": "user",
            "content": "Напишите стихотворение о тишине между звёздами.",
        }
    ],
    max_tokens=300,
    temperature=1.1,
    top_p=0.95,
    frequency_penalty=0.3,
    presence_penalty=0.2,
)

print(response.choices[0].message.content)

Пример 5: Пакетные завершения

import requests

BASE_URL = "http://localhost:2242"

prompts = [
    "Древний волшебник открыл свою книгу и",
    "В неоновом переулке детектив заметил",
    "Последний ИИ на Земле сказал роботу:",
]

for prompt in prompts:
    response = requests.post(
        f"{BASE_URL}/v1/completions",
        json={
            "model": "mistralai/Mistral-7B-Instruct-v0.3",
            "prompt": prompt,
            "max_tokens": 150,
            "temperature": 0.85,
            "top_k": 50,
            "top_p": 0.95,
            "repetition_penalty": 1.1,
        },
    )
    result = response.json()
    print(f"Запрос: {prompt}")
    print(f"Продолжение: {result['choices'][0]['text']}\n")

---

Конфигурация

Ключевые параметры запуска

Параметр	По умолчанию	Описание
--model	обязательно	ID модели или локальный путь
--host	127.0.0.1	Адрес привязки
--port	2242	Порт сервера
--dtype	авто	float16, bfloat16, float32
--quantization	нет	awq, gptq, squeezellm, fp8
--max-model-len	максимум модели	Переопределить максимальную длину контекста
--gpu-memory-utilization	0.90	Доля использования памяти GPU
--tensor-parallel-size	1	Количество GPU для тензорного параллелизма
--max-num-seqs	256	Максимальное число одновременных последовательностей
--trust-remote-code	false	Разрешить пользовательский код модели
--api-keys	нет	API-ключи для аутентификации, разделённые запятыми
--served-model-name	имя модели	Пользовательское имя для ответов API

Добавление аутентификации по API-ключу

python3 -m aphrodite.endpoints.openai.api_server \\
  --model mistralai/Mistral-7B-Instruct-v0.3 \\
  --host 0.0.0.0 \
  --port 2242 \\
  --api-keys "mysecretkey1,mysecretkey2"

Затем используйте Authorization: Bearer mysecretkey1 в запросах.

Загрузка локальных моделей

# Смонтируйте каталог с моделью и укажите его
docker run -d \
  --name aphrodite \\
  --gpus all \
  --ipc host \\
  -p 2242:2242 \\
  -v /path/to/your/model:/model \\
  alpindale/aphrodite-engine:latest \\
  python3 -m aphrodite.endpoints.openai.api_server \\
    --model /model \\
    --host 0.0.0.0 \
    --port 2242

---

Советы по производительности

1. Выберите подходящую квантизацию для вашей видеокарты

VRAM GPU	Модель 7B	Модель 13B	Модель 30B
6 ГБ	GPTQ/AWQ Q4	❌	❌
8 ГБ	GPTQ Q4	GPTQ Q4 (плотно)	❌
12 ГБ	Float16	GPTQ Q4	❌
16 ГБ	Float16	Float16	GPTQ Q4
24 ГБ	Float16	Float16	GPTQ Q4
48 ГБ	Float16	Float16	Float16

2. Настройте использование памяти GPU

--gpu-memory-utilization 0.93  # Выжмите больше KV-кэша

Начните с меньшего значения и увеличивайте его, если не получаете ошибок OOM.

3. Используйте bfloat16 на GPU Ampere+

--dtype bfloat16

Лучшая численная стабильность, чем у float16, при той же скорости.

4. Оптимизируйте под ролевые игры/творческое письмо

Эти сэмплеры хорошо подходят для повествовательного текста:

{
  "temperature": 0.85,
  "top_p": 0.92,
  "top_k": 40,
  "repetition_penalty": 1.12,
  "mirostat_mode": 2,
  "mirostat_tau": 5.0
}

5. Советы для GPU Pascal (GTX 10xx)

Для GPU Pascal избегайте Flash Attention (не поддерживается):

--dtype float16  # float32, если возникают ошибки NaN
--max-model-len 2048  # Уменьшите контекст для экономии памяти

---

Устранение неполадок

Проблема: "CUDA capability sm_6x не поддерживается"

Для GPU Pascal требуется особая обработка. Используйте:

--dtype float16

Если всё ещё не работает, проверьте, поддерживает ли версия образа Pascal:

docker pull alpindale/aphrodite-engine:v0.5.4  # Попробуйте конкретную версию

Проблема: "out of memory" на малых GPU

--gpu-memory-utilization 0.85
--max-model-len 2048
--quantization gptq  # Или awq

Проблема: медленная генерация токенов

• Проверьте, что GPU действительно используется: nvidia-smi внутри контейнера

• Включите большие размеры батча: --max-num-seqs 64

• Используйте AWQ вместо GPTQ (быстрее инференс)

Проблема: модель не найдена / ошибки 404

Всегда проверяйте, что имя вашей модели совпадает точно:

curl http://localhost:2242/v1/models

Используйте точное имя модели из ответа в ваших запросах.

Проблема: повторяющийся вывод

Добавьте штраф за повторения:

{
  "repetition_penalty": 1.15,
  "frequency_penalty": 0.3
}

Проблема: контейнер Docker завершается без вывода

docker logs aphrodite 2>&1 | tail -100
# Частые причины: недостаточно VRAM, неверный путь к модели

---

Ссылки

• GitHub

• Документация

• Docker Hub

• Поддерживаемые модели

• маркетплейс CLORE.AI

---

Рекомендации по GPU для Clore.ai

Сценарий использования	Рекомендуемый GPU	Оценочная стоимость на Clore.ai
Разработка/тестирование	RTX 3090 (24 ГБ)	$0.07–0.21/гпу/ч
Продакшн (7B–13B)	RTX 4090 (24 ГБ)	$0.14–0.42/гпу/ч
Крупные модели (70B+)	A100 80GB / H100	~$1.04/GPU/ч

💡 Все примеры в этом руководстве можно развернуть на Clore.ai GPU-серверах. Просматривайте доступные GPU и арендуйте по часам — без обязательств, с полным root-доступом.