Обзор

Запускайте большие языковые модели (LLM) на GPU CLORE.AI для инференса и чат-приложений.

Популярные инструменты

Инструмент	Сценарий использования	Сложность
компонент	Самая простая настройка LLM	Начальный
Open WebUI	Интерфейс, похожий на ChatGPT	Начальный
vLLM	Продакшн-сервинг с высокой пропускной способностью	Средне
Сервер Llama.cpp	Эффективный инференс GGUF	Лёгкий
Text Generation WebUI	Полнофункциональный чат-интерфейс	Лёгкий
ExLlamaV2	Самый быстрый инференс EXL2	Средне
LocalAI	API, совместимый с OpenAI	Средне
SGLang	Быстрая структурированная генерация	Средне
Text Generation Inference (TGI)	Решение для сервинга от HuggingFace	Средне
LMDeploy	Набор инструментов для сервинга MMlab	Средне
Aphrodite Engine	Форк vLLM с дополнительными функциями	Средне
MLC-LLM	Компиляция машинного обучения	Сложный
LiteLLM	Единый API-прокси	Средне
PowerInfer	Инференс разреженных моделей	Сложный
Mistral.rs	Инференс-движок на Rust	Средне

Руководства по моделям

Новейшие и лучшие модели

Модель	Параметры	Лицензия	Помещается на
Qwen3.8-27B	27B dense	Apache 2.0	1× RTX 4090 (Q4)
Mistral Small 4	119B / 6.5B active	Apache 2.0	2× RTX 4090 (Q2)
GLM-5.2	~750B / 40B active	MIT	10× RTX 5090 (Q2)
DeepSeek V4	Flash 167GB · Pro 893GB	MIT	6–8× RTX 5090 (Flash)
MiniMax M3	428B / 23B active	minimax-community	6–8× RTX 5090 (Q2–Q3)
Nemotron 3 Ultra	550B / 55B active	OpenMDW-1.1	4× RTX PRO 6000 (NVFP4)
Kimi K3	2.8T	Лицензия Kimi K3	Ничего на маркетплейсе
GLM-5.1	744B / 40B active	MIT	Крупные фермы
Llama 4	Scout & Maverick	Сообщество Llama	1× RTX 4090 (Scout Q4)
DeepSeek-R1	671 млрд MoE	MIT	Крупные фермы
Qwen2.5	0.5B–72B	Apache 2.0	Любая карта

Специализированные модели

Модель	Параметры	Лучше всего для
DeepSeek Coder	6.7B-33B	Генерация кода
CodeLlama	7B-34B	Завершение кода
GLM-4.7-Flash	4.7B	Быстрый китайский/английский
GLM-5	Будет объявлено	Последняя версия Zhipu AI
Kimi K2.5	Будет объявлено	Модель Moonshot AI
Ling-2.5-1T	1T	Огромная open-source LLM
LFM2-24B	24B	Модель Liquid AI
MiMo-V2-Flash	Будет объявлено	Модель для быстрого инференса

Эффективные модели

Модель	Параметры	Лучше всего для
Gemma 2	2B-27B	Эффективный инференс
Gemma 3	Будет объявлено	Последняя компактная модель Google
Phi-4	14B	Маленькая, но способная
Mistral/Mixtral	7B / 8x7B	Общего назначения
Mistral Large 3	675B MoE	Корпоративного уровня
Mistral Small 3.1	Будет объявлено	Эффективная версия Mistral

Рекомендации по GPU

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Размер модели	Минимальная GPU	Рекомендуется	Стоимость Clore.ai
7B (Q4)	RTX 3060 12GB	RTX 3090	$0.03–0.21/ч
13B (Q4)	RTX 3090 24GB	RTX 4090	$0.07–0.42/ч
27B (Q4)	RTX 3090 24GB	RTX 4090 / 5090	$0.07–0.77/ч
34B (Q4)	2× RTX 3090	1× RTX 5090	$0.14–0.77/ч
70B (Q4)	2× RTX 5090	1× RTX PRO 6000 96GB	$0.50–1.54/ч
120B+ (Q2)	2× RTX 4090	2× RTX 5090	$0.28–1.54/ч
400B+ (Q2)	8× RTX 5090	4× RTX PRO 6000	~$2.00–5.00/ч

Руководство по квантизации

Формат	Использование VRAM	Качество	Скорость
Q2_K	Минимальное	Плохое	Самое быстрое
Q4_K_M	Низкая	Хорошо	Быстро
Q5_K_M	Средне	Отлично	Средне
Q8_0	Высокая	Отлично	Медленнее
FP16	Наивысшая	Лучше всего	Самое медленное

См. также

• Обучение и дообучение

• Мультимодальные модели зрения и языка