Настройка нескольких GPU

Запускайте большие ИИ-модели на нескольких GPU на Clore.ai

Запускайте крупные модели ИИ на нескольких GPU на CLORE.AI.

Найдите серверы с несколькими GPU на маркетплейс CLORE.AI.

Когда нужна конфигурация с несколькими GPU?

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Размер модели	Вариант с одной GPU	Вариант с несколькими GPU
≤13B	RTX 3090 (Q4)	Не требуется
30B	RTX 4090 (Q4)	2x RTX 3090
70B	A100 40 ГБ (Q4)	2x RTX 4090
70B FP16	-	2x A100 80 ГБ
100B+	-	4x A100 80GB
405B	-	8x A100 80 ГБ

---

Концепции работы на нескольких GPU

Тензорный параллелизм (TP)

Разделите слои модели между GPU. Лучше всего подходит для инференса.

GPU 0: Слои 1–20
GPU 1: Слои 21–40

Плюсы: Меньшая задержка, простая настройка Минусы: Требуется высокоскоростное соединение

Пайплайновый параллелизм (PP)

Обрабатывайте разные батчи на разных GPU.

GPU 0: Батч 1 → GPU 1: Батч 1
GPU 0: Батч 2 → GPU 1: Батч 2

Плюсы: Более высокая пропускная способность Минусы: Большая задержка, более сложная схема

Параллелизм данных (DP)

Одна и та же модель на нескольких GPU, разные данные.

GPU 0: Обрабатывает батч A
GPU 1: Обрабатывает батч B

Плюсы: Простой линейный масштабируемый подход Минусы: Каждой GPU нужна полная модель

---

Настройка LLM на нескольких GPU

vLLM (рекомендуется)

2 GPU:

python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2 \
    --host 0.0.0.0

4 GPU:

python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 4 \
    --host 0.0.0.0

8 GPU (для 405B):

python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-405B-Instruct \\
    --tensor-parallel-size 8 \
    --host 0.0.0.0

Мульти-GPU в Ollama

Ollama автоматически использует несколько GPU, если они доступны:

# Проверьте доступные GPU
nvidia-smi

# Ollama автоматически определит и использует все GPU
ollama run llama3.1:70b

Ограничить конкретными GPU:

CUDA_VISIBLE_DEVICES=0,1 ollama run llama3.1:70b

Text Generation Inference (TGI)

docker run --gpus all -p 8080:80 \",
    ghcr.io/huggingface/text-generation-inference:latest \",
    --model-id meta-llama/Llama-3.1-70B-Instruct \\
    --num-shard 2

llama.cpp

# Укажите количество слоёв GPU на устройство
./llama-server \\
    -m llama-3.1-70b-q4.gguf \\
    -ngl 999 \\
    --split-mode layer \\
    --tensor-split 0.5,0.5

---

Генерация изображений на нескольких GPU

ComfyUI

ComfyUI может распределять разные модели по разным GPU:

# В рабочем процессе ComfyUI
# Используйте "Load Checkpoint" с параметром device
# device: "cuda:0" для первой GPU
# device: "cuda:1" для второй GPU

Запуск VAE на отдельной GPU:

# Основная модель на GPU 0
# VAE на GPU 1
# Снижает нагрузку на VRAM

Веб-интерфейс Stable Diffusion

Включите multi-GPU в webui-user.sh:

export COMMANDLINE_ARGS="--device-id 0"
# Или для конкретных моделей:
export COMMANDLINE_ARGS="--lowvram --device-id 0,1"

Мульти-GPU для FLUX

from diffusers import FluxPipeline
import torch

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    torch_dtype=torch.bfloat16
)

# Распределить по GPU
pipe.enable_model_cpu_offload()  # или
pipe.to("cuda:0")  # Явный выбор GPU

---

Обучение на нескольких GPU

Распределённый PyTorch

import torch
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP

# Инициализация
dist.init_process_group("nccl")
local_rank = int(os.environ["LOCAL_RANK"] )
torch.cuda.set_device(local_rank)

# Оберните модель
model = YourModel().to(local_rank)
model = DDP(model, device_ids=[local_rank])

# Цикл обучения как обычно

Запуск:

torchrun --nproc_per_node=2 train.py

DeepSpeed

import deepspeed

model, optimizer, _, _ = deepspeed.initialize(
    model=model,
    config={
        "train_batch_size": 32,
        "fp16": {"enabled": True},
        "zero_optimization": {"stage": 2}
    }
)

Запуск:

deepspeed --num_gpus=2 train.py

Accelerate (HuggingFace)

from accelerate import Accelerator

accelerator = Accelerator()
model, optimizer, dataloader = accelerator.prepare(
    model, optimizer, dataloader
)

Настройте:

accelerate config  # Интерактивная настройка
accelerate launch train.py

Обучение Kohya (LoRA)

# Обучение LoRA на нескольких GPU
accelerate launch --num_processes=2 train_network.py \\
    --pretrained_model_name_or_path="model.safetensors" \\
    --train_data_dir="./images" \\
    --output_dir="./output"

---

Выбор GPU

Проверьте доступные GPU

# Список всех GPU
nvidia-smi

# Подробная информация
nvidia-smi -L

# Использование памяти
nvidia-smi --query-gpu=index,memory.used,memory.total --format=csv

Выберите конкретные GPU

Переменная окружения:

# Использовать только GPU 0 и 1
export CUDA_VISIBLE_DEVICES=0,1
python your_script.py

# Использовать только GPU 2
export CUDA_VISIBLE_DEVICES=2
python your_script.py

В Python:

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

# Или с torch
import torch
device = torch.device("cuda:0")  # Первая видимая GPU
device = torch.device("cuda:1")  # Вторая видимая GPU

---

Оптимизация производительности

NVLink против PCIe

Соединение	Пропускная способность	Лучше всего для
NVLink	600 ГБ/с	Тензорный параллелизм
PCIe 4.0	32 ГБ/с	Параллелизм данных
PCIe 5.0	64 ГБ/с	Смешанные нагрузки

Проверьте статус NVLink:

nvidia-smi nvlink --status

Оптимальная конфигурация

GPU	Размер TP	Размер PP	Примечания
2	2	1	Простой тензорный параллелизм
4	4	1	Требуется NVLink
4	2	2	Совместимо с PCIe
8	8	1	Полный тензорный параллелизм
8	4	2	Смешанный параллелизм

Балансировка памяти

Равномерное разделение (по умолчанию):

--tensor-parallel-size 2

Пользовательское разделение (неравные GPU):

# vLLM не поддерживает неравномерное разделение, используйте llama.cpp:
./llama-server --tensor-split 0.6,0.4

---

Устранение неполадок

"Ошибка NCCL"

# Включите отладку NCCL
export NCCL_DEBUG=INFO

# Попробуйте разные алгоритмы NCCL
export NCCL_ALGO=Ring

"Недостаточно памяти на GPU X"

# Проверьте память по каждой GPU
nvidia-smi

# Уменьшите размер батча
--max-batch-size 1

# Включите checkpointing градиентов (обучение)
--gradient-checkpointing

"Низкая производительность при работе с несколькими GPU"

1. Проверьте наличие NVLink-соединения

2. Уменьшите размер тензорного параллелизма

3. Вместо этого используйте пайплайновый параллелизм

4. Проверьте узкое место CPU

"GPU не обнаружены"

# Проверьте CUDA
nvidia-smi

# Проверьте, видит ли PyTorch GPU
python -c "import torch; print(torch.cuda.device_count())"

# При необходимости переустановите драйверы CUDA

---

Оптимизация затрат

Когда мульти-GPU оправдан

Сценарий	Одна GPU	Несколько GPU	Победитель
Редкое использование 70B	A100 80 ГБ (голое железо)	2x RTX 4090 ($0.28–0.84/час)	Мульти-GPU
Продакшен 70B	A100 40GB (голое железо)	2x A100 40 ГБ (голое железо)	Одна (Q4)
Обучение 7B	RTX 4090 ($0.14–0.42/час)	2x RTX 4090 ($0.28–0.84/час)	Зависит от времени

Экономичные конфигурации

Сценарий использования	Конфигурация	~Стоимость/час
Инференс 70B	2x RTX 3090	$0.12
Быстрый инференс 70B	2x A100 40 ГБ	$0.34
70B FP16	2x A100 80 ГБ	$0.50
Обучение 13B	2x RTX 4090	$0.20

---

Примеры конфигураций

Сервер чата 70B

# Конфигурация 2x A100 40 ГБ
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2 \
    --max-model-len 8192 \
    --host 0.0.0.0 \
    --port 8000

DeepSeek-V3 (671B)

# Требуется 8x A100 80 ГБ
python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V3 \\
    --tensor-parallel-size 8 \
    --trust-remote-code \\
    --host 0.0.0.0

Пайплайн изображение + LLM

# GPU 0: Stable Diffusion
CUDA_VISIBLE_DEVICES=0 python comfyui/main.py --port 8188 &

# GPU 1: LLM для подсказок
CUDA_VISIBLE_DEVICES=1 python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-8B-Instruct --port 8000

---

Дальнейшие шаги

• Руководство по vLLM - Обслуживание LLM в продакшене

• Сравнение GPU - Выберите свои GPU

• Интеграция API - Создавайте приложения

• Калькулятор стоимости - Оценивайте затраты