Обзор

Обучайте и дообучайте модели ИИ на GPU CLORE.AI.

Доступные руководства

Руководство	Сценарий использования	Сложность
Обучение ML в Jupyter	Интерактивное обучение	Легко
DreamBooth	Пользовательские объекты SD	Средне
Kohya Training	Обучение LoRA/LyCORIS	Средне
Дообучение LLM	Дообучение LLM	Продвинуто
DeepSpeed	Распределённое обучение	Продвинуто
HuggingFace	Обучение Transformers	Средне
Unsloth	Быстрое дообучение LLM	Средне
Axolotl	Дообучение с приоритетом YAML	Средне
LLaMA-Factory	Удобный интерфейс для обучения LLM	Легко
TRL	Укрепляющее обучение для трансформеров	Продвинуто
LitGPT	Обучение на основе Lightning	Средне
Mergekit	Набор инструментов для слияния моделей	Легко

Рекомендации по GPU

Задача	Минимум	Рекомендуется
LoRA (SD)	RTX 3060	RTX 3090
DreamBooth	RTX 3090	RTX 4090
Дообучение LLM (7B)	RTX 3090	A100 40GB
Дообучение LLM (70B)	4x A100	8x A100

Типы обучения

Модели изображений

• LoRA - Лёгкий адаптер, быстрое обучение

• DreamBooth - Полное дообучение для концепций

• Textual Inversion - Изучение новых токенов

Языковые модели

• LoRA/QLoRA - Памятъ-эффективное дообучение

• Полное дообучение - Лучшее качество, требует больше VRAM

Советы

• Использование Spot заказы для длительных тренировок

• Включите gradient checkpointing, чтобы сэкономить VRAM

• Отслеживайте обучение с помощью TensorBoard

• Часто сохраняйте контрольные точки

Связанные руководства

• Языковые модели

• Генерация изображений