Обзор

Запускайте большие языковые модели (LLM) на GPU CLORE.AI для задач вывода и чат-приложений.

Популярные инструменты

Инструмент	Случай использования	Сложность
Ollama	Самая простая настройка LLM	Для начинающих
Открыть WebUI	Интерфейс, похожий на ChatGPT	Для начинающих
vLLM	Высокопроизводительное промышленное обслуживание	Средне
Llama.cpp сервер	Эффективный вывод GGUF	Лёгкий
Text Generation WebUI	Полнофункциональный чат-интерфейс	Лёгкий
ExLlamaV2	Самый быстрый вывод EXL2	Средне
LocalAI	Совместимый с API OpenAI	Средне

Руководства по моделям

Модель	Параметры	Лучше всего для
DeepSeek-V3	671B MoE	Рассуждения, код, математика
Qwen2.5	0.5B-72B	Многоязычная, для кода
Mistral/Mixtral	7B / 8x7B	Универсальное назначение
DeepSeek Coder	6.7B-33B	Генерация кода
CodeLlama	7B-34B	Дополнение кода
Gemma 2	2B-27B	Эффективный вывод
Phi-4	14B	Небольшая, но способная

Рекомендации по GPU

Размер модели	Минимальная GPU	Рекомендуется
7B (Q4)	RTX 3060 12GB	RTX 3090
13B (Q4)	RTX 3090 24GB	RTX 4090
34B (Q4)	2x RTX 3090	A100 40GB
70B (Q4)	A100 80GB	2x A100

Руководство по квантизации

Формат	Использование VRAM	Качество	Скорость
Q2_K	Самый низкий	Плохо	Самая быстрая
Q4_K_M	Низкая	Хорошо	Быстро
Q5_K_M	Средне	Отлично	Средне
Q8_0	Высокий	Отлично	Медленнее
FP16	Самый высокий	Лучшее	Самый медленный

См. также

• Обучение и дообучение

• Модели визуально-языкового понимания