PowerInfer

Гибридный вывод LLM на CPU/GPU, использующий локальность активации — запускайте модели с 70 млрд параметров на одном потребительском GPU, интеллектуально распределяя вычисления между CPU и GPU.

🌟 8 000+ звезд на GitHub | Разработано в SJTU IPADS | Лицензия MIT

---

Что такое PowerInfer?

PowerInfer — это высокопроизводительный движок вывода для больших языковых моделей, использующий ключевое наблюдение: LLM демонстрируют сильную локальность активации — небольшая подмножество нейронов («горячие нейроны») постоянно активируется на большинстве шагов вывода, тогда как большинство остаются неактивными.

PowerInfer использует это свойство, чтобы:

1. Оставлять горячие нейроны на GPU для быстрого вычисления

2. Выгружать холодные нейроны на CPU/RAM без существенной потери качества

3. Динамически направлять вычисления между CPU и GPU на основе шаблонов активации

Итог: вы можете запускать модель 70B всего с 16 ГБ VRAM вместо требования 140+ ГБ, полностью размещенных на GPU.

Ключевые возможности

• Поддержка потребительских GPU — RTX 3090/4090 могут запускать модели 70B

• Планирование с учетом нейронов — предиктор определяет маршрутизацию на CPU или GPU для каждого запуска вывода

• Минимальное ухудшение качества — сохраняет >95% качества полной точности

• Совместимость с llama.cpp — поддержка формата GGUF

• Выгрузка на CPU с учетом NUMA — оптимизировано для CPU с большим числом ядер

Зачем использовать PowerInfer на Clore.ai?

Clore.ai сдает GPU в аренду значительно дешевле, чем облачные альтернативы. С PowerInfer:

• Запускайте Llama 2 70B на одном RTX 4090 (24 ГБ VRAM)

• Сократите расходы на аренду GPU по сравнению с многопроцессорными конфигурациями

• Обрабатывайте длинные окна контекста, используя RAM CPU как буфер переполнения

• Запускайте модели, для которых раньше требовались дорогие инстансы A100/H100

---

Требования к оборудованию

Размер модели	Мин. VRAM	Рекомендуемая RAM	Производительность
7B	4 ГБ	16GB	Отлично
13B	6 ГБ	32GB	Очень хорошо
34B	12GB	64GB	Хорошо
70B	16GB	128 ГБ	Умеренная

CPU имеет значение: PowerInfer выгружает холодные нейроны на CPU. CPU с большим числом ядер (AMD EPYC, Intel Xeon) и высокой пропускной способностью памяти значительно повышает производительность для больших моделей.

---

Быстрый старт на Clore.ai

Шаг 1: выберите ваш сервер

На маркетплейсе clore.ai отфильтруйте по:

• GPU NVIDIA с 16 ГБ+ VRAM (RTX 3090, RTX 4090, A100)

• Высокое число ядер CPU (идеально 16+ ядер)

• 64 ГБ+ RAM для моделей 70B, 32 ГБ для моделей 13B

Шаг 2: создайте собственный Docker-образ

PowerInfer требует собственной настройки Docker. Используйте этот Dockerfile:

FROM nvidia/cuda:12.8.1-devel-ubuntu22.04

# Установить зависимости
RUN apt-get update && apt-get install -y \\
    git \\
    cmake \\
    build-essential \\
    python3 \\
    python3-pip \\
    curl \\
    wget \\
    openssh-server \\
    && rm -rf /var/lib/apt/lists/*

# Настройка SSH
RUN mkdir /var/run/sshd && \\
    echo 'root:powerinfer' | chpasswd && \\
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# Клонируем и собираем PowerInfer
RUN git clone https://github.com/SJTU-IPADS/PowerInfer.git /app/PowerInfer
WORKDIR /app/PowerInfer

RUN mkdir build && cd build && \\
    cmake .. -DLLAMA_CUBLAS=ON && \\
    cmake --build . --config Release -j$(nproc)

# Установка зависимостей Python для solver
RUN pip3 install torch numpy scipy

EXPOSE 22

CMD ["/bin/bash", "-c", "service ssh start && tail -f /dev/null"]

Соберите и отправьте в Docker Hub или используйте встроенно с Clore.ai:

docker build -t yourname/powerinfer:latest .
docker push yourname/powerinfer:latest

Шаг 3: разверните на Clore.ai

В вашем заказе на Clore.ai укажите:

• Docker-образ: yourname/powerinfer:latest

• Порты: 22 (SSH)

• Окружение: NVIDIA_VISIBLE_DEVICES=all

---

Сборка PowerInfer из исходного кода

Если предпочитаете собирать внутри контейнера:

# Подключитесь по SSH к вашему серверу Clore.ai
ssh root@<clore-node-ip> -p <ssh-port>

# Установите необходимые пакеты
apt-get update && apt-get install -y git cmake build-essential python3 python3-pip

# Клонируйте PowerInfer
git clone https://github.com/SJTU-IPADS/PowerInfer.git
cd PowerInfer

# Сборка с поддержкой CUDA
mkdir build && cd build
cmake .. -DLLAMA_CUBLAS=ON -DCMAKE_BUILD_TYPE=Release
cmake --build . --config Release -j$(nproc)

echo "Сборка завершена!"
ls -la bin/

Проверка сборки

./build/bin/main --help
# Должна выводиться справка CLI PowerInfer

---

Получение моделей

Скачайте модели GGUF

PowerInfer использует формат GGUF (тот же, что и llama.cpp):

# Установите CLI HuggingFace
pip3 install huggingface_hub

# Скачайте Llama 2 7B Q4 (рекомендуется для тестирования)
huggingface-cli download TheBloke/Llama-2-7B-Chat-GGUF \\
  llama-2-7b-chat.Q4_K_M.gguf \\
  --local-dir ./models

# Скачайте Llama 2 70B Q4 (требуется 16 ГБ+ VRAM)  
huggingface-cli download TheBloke/Llama-2-70B-Chat-GGUF \\
  llama-2-70b-chat.Q4_K_M.gguf \\
  --local-dir ./models

Создание предиктора нейронов (требуется для PowerInfer)

PowerInfer нужен предиктор активации нейронов для каждой модели. Это ключевое отличие от llama.cpp:

# Установите зависимости Python для solver
pip3 install torch numpy scipy

# Сгенерируйте предиктор для вашей модели
python3 PowerInfer/solver/solve.py \\
  --model ./models/llama-2-7b-chat.Q4_K_M.gguf \\
  --output ./predictors/llama-2-7b-chat \\
  --target-gpu-layers 20 \\
  --gpu-memory-gb 16

# Это создает файлы предиктора в ./predictors/
ls ./predictors/llama-2-7b-chat/

Время генерации предиктора: Создание предиктора нейронов может занять 30–60 минут в зависимости от размера модели. Это одноразовая операция — предиктор используется повторно при последующих запусках.

---

Запуск вывода

Базовый вывод (без предиктора)

Для тестирования без генерации предиктора (стандартное разделение на GPU/CPU):

./build/bin/main \\
  -m ./models/llama-2-7b-chat.Q4_K_M.gguf \\
  --gpu-layers 20 \\
  -p "Расскажите мне о квантовых вычислениях" \\
  -n 256

Режим PowerInfer (с предиктором)

Полный режим PowerInfer с маршрутизацией с учетом нейронов:

./build/bin/main \\
  -m ./models/llama-2-7b-chat.Q4_K_M.gguf \\
  --predictor-path ./predictors/llama-2-7b-chat \\
  --gpu-layers 20 \\
  --n-gpu-layers 20 \\
  -p "В чем смысл жизни?" \\
  -n 512 \\
  --ctx-size 4096

Интерактивный режим чата

./build/bin/main \\
  -m ./models/llama-2-7b-chat.Q4_K_M.gguf \\
  --predictor-path ./predictors/llama-2-7b-chat \\
  --gpu-layers 20 \\
  -i \\
  --ctx-size 4096 \\
  --temp 0.7 \\
  --top-p 0.9 \\
  --repeat-penalty 1.1 \\
  --color

Режим сервера (API, совместимый с OpenAI)

./build/bin/server \\
  -m ./models/llama-2-7b-chat.Q4_K_M.gguf \\
  --predictor-path ./predictors/llama-2-7b-chat \\
  --gpu-layers 20 \\
  --host 0.0.0.0 \
  --port 8080 \\
  --ctx-size 4096

---

Оптимизация разделения слоев на GPU

Параметр --gpu-layers определяет, сколько слоев трансформера держать на GPU. Настраивайте это в зависимости от вашей VRAM:

# Проверьте доступную VRAM
nvidia-smi --query-gpu=memory.free,memory.total --format=csv

# Правило грубой оценки для моделей Q4:
# 7B:  ~0.13 ГБ на слой  → карта 24 ГБ = ~184 слоя (все)
# 13B: ~0.18 ГБ на слой  → карта 24 ГБ = ~133 слоя
# 70B: ~0.23 ГБ на слой  → карта 24 ГБ = ~104 слоя (из 80 всего)

Руководство по распределению слоев:

VRAM GPU	Модель 7B	Модель 13B	Модель 34B	Модель 70B
8 ГБ	Все (32)	20 слоев	10 слоев	4 слоя
16GB	Все (32)	Все (40)	25 слоев	10 слоев
24 ГБ	Все (32)	Все (40)	Все (60)	20 слоев
48 ГБ	Все (32)	Все (40)	Все (60)	Все (80)

---

Бенчмарки производительности

Сравнение пропускной способности (Llama 2 70B, RTX 3090)

Движок	Слои GPU	Токенов/сек
llama.cpp (только GPU)	20/80	~4 t/s
llama.cpp (только CPU)	0/80	~1 t/s
PowerInfer	20/80 + предиктор	~12 t/s

Ускорение в 3 раза по сравнению со стандартным llama.cpp при выводе больших моделей на потребительских GPU — типичный результат благодаря планированию PowerInfer с учетом нейронов.

---

Запуск как службы

Создайте systemd-службу для постоянного обслуживания API:

cat > /etc/systemd/system/powerinfer.service << 'EOF'
[Unit]
Описание=Сервер LLM PowerInfer
After=network.target

[Service]
Type=simple
WorkingDirectory=/app/PowerInfer
ExecStart=/app/PowerInfer/build/bin/server \\
  -m /models/llama-2-13b-chat.Q4_K_M.gguf \\
  --predictor-path /predictors/llama-2-13b-chat \\
  --gpu-layers 30 \\
  --host 0.0.0.0 \
  --port 8080 \\
  --ctx-size 4096
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable powerinfer
systemctl start powerinfer
systemctl status powerinfer

---

Использование API

После запуска сервера используйте любой клиент, совместимый с OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="http://<clore-node-ip>:<port>/v1",
    api_key="none"
)

response = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "user", "content": "Объясни нейросети простыми словами"}
    ],
    max_tokens=256
)
print(response.choices[0].message.content)

---

Устранение неполадок

Недостаточно памяти CUDA

# Сократите число слоев на GPU
./build/bin/main -m model.gguf --gpu-layers 10  # Уменьшите с 20

# Проверьте, что использует VRAM
nvidia-smi

# Освободите память GPU
sudo fuser -v /dev/nvidia*  # Посмотреть процессы

Медленный вывод на CPU

# Включите оптимизацию потоков CPU
./build/bin/main -m model.gguf --threads $(nproc) --gpu-layers 20

# Проверьте топологию NUMA
numactl --hardware

# Привяжите к NUMA-узлу, ближайшему к GPU
numactl --cpunodebind=0 --membind=0 ./build/bin/main -m model.gguf

Сборка не удается

# Убедитесь, что установлен CUDA Toolkit
nvcc --version

# Проверьте версию CMake (нужна 3.14+)
cmake --version

# Чистая сборка
rm -rf build && mkdir build
cd build && cmake .. -DLLAMA_CUBLAS=ON -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda

Распространенная проблема: Если cmake не может найти CUDA, задайте переменную окружения CUDA_HOME следующим образом: export CUDA_HOME=/usr/local/cuda до запуска cmake.

---

Рекомендации по GPU для Clore.ai

Гибридная CPU/GPU-конструкция PowerInfer меняет экономику запуска больших моделей. Серверы Clore.ai с GPU с большим объемом VRAM И быстрыми CPU — идеальный вариант.

GPU	VRAM	Цена Clore.ai	Макс. модель (Q4)	Пропускная способность (Llama 2 70B Q4)
RTX 3090	24 ГБ	$0.07–0.21/ч	70B (с 64 ГБ+ RAM)	~8–12 ток/с
RTX 4090	24 ГБ	$0.14–0.42/ч	70B (более быстрое выгружение на CPU)	~12–18 ток/с
A100 40 ГБ	40 ГБ	голое железо	70B (минимальная выгрузка)	~35–45 ток/с
A100 80 ГБ	80 ГБ	голое железо	70B в полной точности	~50–60 ток/с

Оптимальная точка PowerInfer: RTX 3090 за $0.07–0.21/час при запуске Llama 2 70B Q4 — это прорыв для пользователей с ограниченным бюджетом. Вы получаете модель 70B в 10–12 раз дешевле, чем аренда A100. Пропускная способность ниже (~10 ток/с), но для исследований или вывода при низкой нагрузке это непревзойденная ценность.

CPU важен не меньше, чем GPU: PowerInfer выгружает «холодные» нейроны на CPU. Серверы Clore.ai с процессорами AMD EPYC или Intel Xeon (много ядер, высокая пропускная способность памяти) будут значительно превосходить односокетные потребительские CPU. Перед арендой для работы с большими моделями проверьте характеристики сервера.

Узкое место пропускной способности памяти: Для моделей 70B пропускная способность RAM CPU является ограничивающим фактором во время вычисления холодных нейронов. Серверы с DDR5 ECC RAM или архитектурами, близкими к HBM, покажут лучшую производительность.

---

Ресурсы

• 🐙 GitHub: github.com/SJTU-IPADS/PowerInfer

• 📄 Научная статья: PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

• 🤗 Модели GGUF: huggingface.co/TheBloke

• 🧩 Лаборатория SJTU IPADS: ipads.se.sjtu.edu.cn