Совместимость моделей

Матрица совместимости AI-моделей и GPU для Clore.ai

Полное руководство о том, какие модели ИИ работают на каких GPU на CLORE.AI.

Найдите GPU с нужным объёмом VRAM на маркетплейс CLORE.AI.

Краткая справка

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Языковые модели (LLM)

Модель	Параметры	Мин. VRAM	Рекомендуется	Квантование
Llama 3.2	1B	2 ГБ	4 ГБ	Q4, Q8, FP16
Llama 3.2	3B	4 ГБ	6 ГБ	Q4, Q8, FP16
Llama 3.1/3	8B	6 ГБ	12GB	Q4, Q8, FP16
Mistral	7B	6 ГБ	12GB	Q4, Q8, FP16
Qwen 2.5	7B	6 ГБ	12GB	Q4, Q8, FP16
Qwen 2.5	14B	12GB	16GB	Q4, Q8
Qwen 2.5	32B	20 ГБ	24 ГБ	Q4, Q8
Llama 3.1	70B	40 ГБ	48 ГБ	Q4, Q8
Qwen 2.5	72B	48 ГБ	80 ГБ	Q4, Q8
Mixtral	8x7B	24 ГБ	48 ГБ	Q4
DeepSeek-V3	671B	320 ГБ+	640GB	FP8
DeepSeek-R1	671B	320 ГБ+	8x H100	FP8, модель рассуждений
DeepSeek-R1-Distill	32B	20 ГБ	2x A100 / RTX 5090	Q4/Q8

Модели генерации изображений

Модель	Мин. VRAM	Рекомендуется	Примечания
SD 1.5	4 ГБ	8 ГБ	Нативное 512x512
SD 2.1	6 ГБ	8 ГБ	Нативное 768x768
SDXL	8 ГБ	12GB	Нативное 1024x1024
SDXL Turbo	8 ГБ	12GB	1-4 шага
SD3.5 Large (8B)	16GB	24 ГБ	1024x1024, продвинутое качество
FLUX.1 schnell	12GB	16GB	4 шага, быстро
FLUX.1 dev	16GB	24 ГБ	20-50 шагов
TRELLIS	16GB	24 ГБ (RTX 4090)	3D-генерация из изображений

Модели генерации видео

Модель	Мин. VRAM	Рекомендуется	Вывод
Stable Video Diffusion	16GB	24 ГБ	4 сек, 576x1024
AnimateDiff	12GB	16GB	2-4 сек
LTX-Video	16GB	24 ГБ (RTX 4090/3090)	5 сек, 768x512, очень быстро
Wan2.1	24 ГБ	40 ГБ	5 сек, 480p-720p
Hunyuan Video	40 ГБ	80 ГБ	5 сек, 720p
OpenSora	24 ГБ	40 ГБ	Переменная

Аудиомодели

Модель	Мин. VRAM	Рекомендуется	Задача
Whisper tiny	1 ГБ	2 ГБ	Расшифровка
Whisper base	1 ГБ	2 ГБ	Расшифровка
Whisper small	2 ГБ	4 ГБ	Расшифровка
Whisper medium	4 ГБ	6 ГБ	Расшифровка
Whisper large-v3	6 ГБ	10 ГБ	Расшифровка
Bark	8 ГБ	12GB	Синтез речи
Stable Audio	8 ГБ	12GB	Генерация музыки

Зрительные и зрительно-языковые модели

Модель	Мин. VRAM	Рекомендуется	Задача
Llama 3.2 Vision 11B	12GB	16GB	Понимание изображений
Llama 3.2 Vision 90B	48 ГБ	80 ГБ	Понимание изображений
LLaVA 7B	8 ГБ	12GB	Визуальные ответы на вопросы
LLaVA 13B	16GB	24 ГБ	Визуальные ответы на вопросы
Qwen2.5-VL 7B	16GB	24 ГБ (RTX 4090)	OCR изображений/видео/документов
Qwen2.5-VL 72B	48 ГБ	2x A100 80GB	Максимальные возможности VL

Инструменты дообучения и обучения

Инструмент / метод	Мин. VRAM	Рекомендуемый GPU	Задача
Unsloth QLoRA 7B	12GB	RTX 3090 24GB	QLoRA в 2 раза быстрее, низкое потребление VRAM
Unsloth QLoRA 13B	16GB	RTX 4090 24GB	Быстрое дообучение
LoRA (стандартная)	12GB	RTX 3090	Эффективная по параметрам донастройка
Полное дообучение 7B	40 ГБ	A100 40 ГБ	Обучение с максимальным качеством

---

Подробные таблицы совместимости

LLM по GPU

GPU	Макс. модель (Q4)	Макс. модель (Q8)	Макс. модель (FP16)
RTX 3060 12GB	13B	7B	3B
RTX 3070 8GB	7B	3B	1B
RTX 3080 10GB	7B	7B	3B
RTX 3090 24GB	30B	13B	7B
RTX 4070 Ti 12GB	13B	7B	3B
RTX 4080 16GB	14B	7B	7B
RTX 4090 24GB	30B	13B	7B
RTX 5090 32GB	70B	14B	13B
A100 40 ГБ	70B	30B	14B
A100 80 ГБ	70B	70B	30B
H100 80GB	70B	70B	30B

Генерация изображений по GPU

GPU	SD 1.5	SDXL	FLUX schnell	FLUX dev
RTX 3060 12GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3070 8GB	✅ 512	⚠️ 512	❌	❌
RTX 3080 10GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3090 24GB	✅ 768	✅ 1024	✅ 1024	⚠️ 768*
RTX 4070 Ti 12GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 4080 16GB	✅ 768	✅ 1024	✅ 768	⚠️ 512*
RTX 4090 24GB	✅ 1024	✅ 1024	✅ 1024	✅ 1024
RTX 5090 32GB	✅ 1024	✅ 1024	✅ 1536	✅ 1536
A100 40 ГБ	✅ 1024	✅ 1024	✅ 1024	✅ 1024
A100 80 ГБ	✅ 2048	✅ 2048	✅ 1536	✅ 1536

*С выгрузкой на CPU или уменьшенным размером батча

Генерация видео по GPU

GPU	SVD	AnimateDiff	Wan2.1	Hunyuan
RTX 3060 12GB	❌	⚠️ коротко	❌	❌
RTX 3090 24GB	✅ 2-4с	✅	⚠️ 480p	❌
RTX 4090 24GB	✅ 4с	✅	✅ 480p	⚠️ коротко
RTX 5090 32GB	✅ 6с	✅	✅ 720p	✅ 5с
A100 40 ГБ	✅ 4с	✅	✅ 720p	✅ 5с
A100 80 ГБ	✅ 8с	✅	✅ 720p	✅ 10с

---

Руководство по квантованию

Что такое квантование?

Квантование снижает точность модели, чтобы она помещалась в меньший объём VRAM:

Формат	Биты	Снижение VRAM	Потеря качества
FP32	32	Базовый уровень	Нет
FP16	16	50%	Минимальная
BF16	16	50%	Минимальная
FP8	8	75%	Небольшая
Q8	8	75%	Небольшая
Q6_K	6	81%	Небольшая
Q5_K_M	5	84%	Умеренная
Q4_K_M	4	87%	Умеренная
Q3_K_M	3	91%	Заметная
Q2_K	2	94%	Существенная

Калькулятор VRAM

Формула: VRAM (ГБ) ≈ Параметры (B) × Байт на параметр

Размер модели	FP16	Q8	Q4
1B	2 ГБ	1 ГБ	0,5 ГБ
3B	6 ГБ	3 ГБ	1,5 ГБ
7B	14 ГБ	7 ГБ	3,5 ГБ
8B	16 ГБ	8 ГБ	4 ГБ
13B	26 ГБ	13 ГБ	6,5 ГБ
14B	28 ГБ	14 ГБ	7 ГБ
30B	60 ГБ	30 ГБ	15 ГБ
32B	64 ГБ	32 ГБ	16 ГБ
70B	140 ГБ	70 ГБ	35 ГБ
72B	144 ГБ	72 ГБ	36 ГБ

*Добавьте ~20% для KV cache и накладных расходов

Рекомендуемое квантование по сценарию использования

Сценарий использования	Рекомендуется	Почему
Чат/общее	Q4_K_M	Хороший баланс скорости и качества
Кодинг	Q5_K_M+	Лучшая точность для кода
Творческое письмо	Q4_K_M	Скорость важнее
Анализ	Q6_K+	Требуется более высокая точность
Продакшен	FP16/BF16	Максимальное качество

---

Длина контекста vs VRAM

Как контекст влияет на VRAM

У каждой модели есть окно контекста (макс. токены). Более длинный контекст = больше VRAM:

Модель	Контекст по умолчанию	Максимальный контекст	VRAM на 1K токенов
Llama 3 8B	8K	128K	~0,3 ГБ
Llama 3 70B	8K	128K	~0,5 ГБ
Qwen 2.5 7B	8K	128K	~0,25 ГБ
Mistral 7B	8K	32K	~0,25 ГБ
Mixtral 8x7B	32K	32K	~0,4 ГБ

Контекст по GPU (Llama 3 8B Q4)

GPU	Комфортный контекст	Максимальный контекст
RTX 3060 12GB	16K	32K
RTX 3090 24GB	64K	96K
RTX 4090 24GB	64K	96K
RTX 5090 32GB	96K	128K
A100 40 ГБ	96K	128K
A100 80 ГБ	128K	128K

---

Конфигурации с несколькими GPU

Тензорный параллелизм

Разделите одну модель между несколькими GPU:

Конфигурация	Общий объём VRAM	Макс. модель (FP16)
2x RTX 3090	48 ГБ	30B
2x RTX 4090	48 ГБ	30B
2x RTX 5090	64GB	32B
4x RTX 5090	128 ГБ	70B
2x A100 40GB	80 ГБ	70B
4x A100 40GB	160GB	100B+
8x A100 80GB	640GB	DeepSeek-V3

vLLM с несколькими GPU

# 2 GPU
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2

# 4 GPU
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 4

---

Руководства по конкретным моделям

Семейство Llama 3.1

Вариант	Параметры	Минимальная GPU	Рекомендуемая конфигурация
Llama 3.2 1B	1B	Любая 4 ГБ	RTX 3060
Llama 3.2 3B	3B	Любая 6 ГБ	RTX 3060
Llama 3.1 8B	8B	RTX 3060	RTX 3090
Llama 3.1 70B	70B	A100 40 ГБ	2x A100 40GB
Llama 3.1 405B	405B	8x A100 80GB	8x H100

Семейство Mistral/Mixtral

Вариант	Параметры	Минимальная GPU	Рекомендуемая конфигурация
Mistral 7B	7B	RTX 3060	RTX 3090
Mixtral 8x7B	46.7B	RTX 3090	A100 40 ГБ
Mixtral 8x22B	141B	2x A100 80GB	4x A100 80GB

Семейство Qwen 2.5

Вариант	Параметры	Минимальная GPU	Рекомендуемая конфигурация
Qwen 2.5 0.5B	0.5B	Любая 2 ГБ	Любая 4 ГБ
Qwen 2.5 1.5B	1.5B	Любая 4 ГБ	RTX 3060
Qwen 2.5 3B	3B	Любая 6 ГБ	RTX 3060
Qwen 2.5 7B	7B	RTX 3060	RTX 3090
Qwen 2.5 14B	14B	RTX 3090	RTX 4090
Qwen 2.5 32B	32B	RTX 4090	A100 40 ГБ
Qwen 2.5 72B	72B	A100 40 ГБ	A100 80 ГБ

Модели DeepSeek

Вариант	Параметры	Минимальная GPU	Рекомендуемая конфигурация
DeepSeek-Coder 6.7B	6.7B	RTX 3060	RTX 3090
DeepSeek-Coder 33B	33B	RTX 4090	A100 40 ГБ
DeepSeek-V2-Lite	15.7B	RTX 3090	A100 40 ГБ
DeepSeek-V3	671B	8x A100 80GB	8x H100
DeepSeek-R1	671B	8x A100 80GB	8x H100 (FP8)
DeepSeek-R1-Distill-Qwen-32B	32B	RTX 5090 32GB	2x A100 40GB
DeepSeek-R1-Distill-Qwen-7B	7B	RTX 3090 24GB	RTX 4090

---

Устранение неполадок

«Недостаточно памяти CUDA»

1. Уменьшите квантование: Q8 → Q4

2. Уменьшите длину контекста: Уменьшите max_tokens

3. Включите выгрузку на CPU: --cpu-offload или enable_model_cpu_offload()

4. Используйте меньший batch: batch_size=1

5. Попробуйте другую GPU: Нужно больше VRAM

«Модель слишком большая»

1. Используйте квантизированную версию: Модели GGUF Q4

2. Используйте несколько GPU: Тензорный параллелизм

3. Выгружать на CPU: Медленнее, но работает

4. Выберите модель меньшего размера: 7B вместо 13B

"Медленная генерация"

1. Обновите GPU: Больше VRAM = меньше выгрузки

2. Используйте более быструю квантизацию: Q4 быстрее, чем Q8

3. Уменьшите контекст: Короче = быстрее

4. Включите flash attention: --flash-attn

Дальнейшие шаги

• Руководство по сравнению GPU - Подробные характеристики GPU

• Каталог Docker-образов - Готовые к развёртыванию образы

• Руководство для быстрого старта - Начните за 5 минут