Обзор

Запускайте большие языковые модели (LLM) на GPU CLORE.AI для задач инференса и чат-приложений.

Популярные инструменты

Инструмент	Сценарий использования	Сложность
Ollama	Самая простая настройка LLM	Для начинающих
Open WebUI	Интерфейс, похожий на ChatGPT	Для начинающих
vLLM	Высокопроизводительная серверная подача для продакшена	Средняя
Llama.cpp Server	Эффективный GGUF-инференс	Лёгкий
Text Generation WebUI	Полнофункциональный чат-интерфейс	Лёгкий
ExLlamaV2	Самый быстрый EXL2-инференс	Средняя
LocalAI	API совместимый с OpenAI	Средняя
SGLang	Быстрая структурированная генерация	Средняя
Text Generation Inference (TGI)	Решение для сервинга от HuggingFace	Средняя
LMDeploy	Инструментарий сервинга MMlab	Средняя
Aphrodite Engine	Форк vLLM с дополнительными функциями	Средняя
MLC-LLM	Компиляция машинного обучения	Сложно
LiteLLM	Единый прокси API	Средняя
PowerInfer	Инференс для разреженных моделей	Сложно
Mistral.rs	Инференс-движок на Rust	Средняя

Руководства по моделям

Последние и лучшие модели

Модель	Параметры	Лучше всего для
DeepSeek-V3	671B MoE	Умозаключение, код, математика
DeepSeek-R1	671B MoE	Продвинутое рассуждение
DeepSeek V4	Будет объявлено	Модель следующего поколения DeepSeek
Qwen2.5	0.5B–72B	Многоязычная, код
Qwen3.5	Будет объявлено	Последнее поколение Qwen
Llama 3.3	70B	Новейшая 70B от Meta
Llama 4	Будет объявлено	Варианты Scout и Maverick

Специализированные модели

Модель	Параметры	Лучше всего для
DeepSeek Coder	6.7B–33B	Генерация кода
CodeLlama	7B–34B	Дополнение кода
GLM-4.7-Flash	4.7B	Быстрый для китайского/английского
GLM-5	Будет объявлено	Новейшая от Zhipu AI
Kimi K2.5	Будет объявлено	Moonshot AI модель
Ling-2.5-1T	1T	Массивная открытая LLM
LFM2-24B	24B	Модель Liquid AI
MiMo-V2-Flash	Будет объявлено	Модель для быстрого инференса

Эффективные модели

Модель	Параметры	Лучше всего для
Gemma 2	2B–27B	Эффективный инференс
Gemma 3	Будет объявлено	Последняя компактная модель Google
Phi-4	14B	Небольшая, но способная
Mistral/Mixtral	7B / 8x7B	Универсального назначения
Mistral Large 3	675B MoE	Класс для предприятий
Mistral Small 3.1	Будет объявлено	Эффективный вариант Mistral

Рекомендации по GPU

Размер модели	Минимальный GPU	Рекомендуется
7B (Q4)	RTX 3060 12GB	RTX 3090
13B (Q4)	RTX 3090 24GB	RTX 4090
34B (Q4)	2x RTX 3090	A100 40GB
70B (Q4)	A100 80GB	2x A100

Руководство по квантизации

Формат	Использование VRAM	Качество	Скорость
Q2_K	Низкое	Плохо	Самый быстрый
Q4_K_M	Низкий	Хорошо	Быстро
Q5_K_M	Средняя	Отлично	Средняя
Q8_0	Высокое	Отлично	Медленнее
FP16	Наивысшее	Лучшее	Самый медленный

См. также

• Обучение и дообучение

• Модели «вид+язык»