# Обзор

Обучайте и дообучайте модели ИИ на GPU CLORE.AI.

## Доступные руководства

| Руководство                                                                                      | Сценарий использования                 | Сложность  |
| ------------------------------------------------------------------------------------------------ | -------------------------------------- | ---------- |
| [Обучение ML в Jupyter](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/jupyter-ml-training) | Интерактивное обучение                 | Легко      |
| [DreamBooth](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/dreambooth)                     | Пользовательские объекты SD            | Средне     |
| [Kohya Training](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/kohya-training)             | Обучение LoRA/LyCORIS                  | Средне     |
| [Дообучение LLM](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/finetune-llm)               | Дообучение LLM                         | Продвинуто |
| [DeepSpeed](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/deepspeed-training)              | Распределённое обучение                | Продвинуто |
| [HuggingFace](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/huggingface-transformers)      | Обучение Transformers                  | Средне     |
| [Unsloth](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/unsloth-finetune)                  | Быстрое дообучение LLM                 | Средне     |
| [Axolotl](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/axolotl-training)                  | Дообучение с приоритетом YAML          | Средне     |
| [LLaMA-Factory](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/llama-factory)               | Удобный интерфейс для обучения LLM     | Легко      |
| [TRL](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/trl)                                   | Укрепляющее обучение для трансформеров | Продвинуто |
| [LitGPT](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/litgpt)                             | Обучение на основе Lightning           | Средне     |
| [Mergekit](https://docs.clore.ai/guides/guides_v2-ru/obuchenie/mergekit)                         | Набор инструментов для слияния моделей | Легко      |

## Рекомендации по GPU

| Задача               | Минимум  | Рекомендуется |
| -------------------- | -------- | ------------- |
| LoRA (SD)            | RTX 3060 | RTX 3090      |
| DreamBooth           | RTX 3090 | RTX 4090      |
| Дообучение LLM (7B)  | RTX 3090 | A100 40GB     |
| Дообучение LLM (70B) | 4x A100  | 8x A100       |

## Типы обучения

### Модели изображений

* **LoRA** - Лёгкий адаптер, быстрое обучение
* **DreamBooth** - Полное дообучение для концепций
* **Textual Inversion** - Изучение новых токенов

### Языковые модели

* **LoRA/QLoRA** - Памятъ-эффективное дообучение
* **Полное дообучение** - Лучшее качество, требует больше VRAM

## Советы

* Использование **Spot** заказы для длительных тренировок
* Включите gradient checkpointing, чтобы сэкономить VRAM
* Отслеживайте обучение с помощью TensorBoard
* Часто сохраняйте контрольные точки

## Связанные руководства

* [Языковые модели](https://docs.clore.ai/guides/guides_v2-ru/yazykovye-modeli/language-models)
* [Генерация изображений](https://docs.clore.ai/guides/guides_v2-ru/generaciya-izobrazhenii/image-generation)