DreamBooth

Обучайте собственные модели изображений с DreamBooth на GPU Clore.ai

Обучите Stable Diffusion генерировать изображения конкретных объектов.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое DreamBooth?

DreamBooth дообучает SD на ваших изображениях:

• Обучение на 5–20 изображениях

• Генерируйте новые изображения вашего объекта

• Любой стиль или контекст

• Работает с SD 1.5 и SDXL

Требования

Модель	VRAM	Время обучения
SD 1.5	12GB	15–30 мин
SDXL	24 ГБ	30–60 мин
SD 1.5 + LoRA	8 ГБ	10–20 мин

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Порты:

22/tcp
7860/http

Команда:

pip install diffusers transformers accelerate bitsandbytes && \
pip install xformers peft && \
python dreambooth_train.py

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

pip install diffusers transformers accelerate
pip install bitsandbytes xformers peft

Подготовьте данные для обучения

1. Соберите 5–20 изображений вашего объекта

2. Обрежьте до лица/объекта

3. Измените размер до 512x512 (или 1024x1024 для SDXL)

4. При необходимости удалите фон

from PIL import Image
import os

def prepare_images(input_dir, output_dir, size=512):
    os.makedirs(output_dir, exist_ok=True)

    for filename in os.listdir(input_dir):
        if filename.endswith(('.jpg', '.png', '.jpeg')):
            img = Image.open(os.path.join(input_dir, filename))
            img = img.convert('RGB')

            # Обрезка по центру до квадрата
            min_dim = min(img.size)
            left = (img.width - min_dim) // 2
            top = (img.height - min_dim) // 2
            img = img.crop((left, top, left + min_dim, top + min_dim))

            # Изменение размера
            img = img.resize((size, size), Image.LANCZOS)
            img.save(os.path.join(output_dir, filename))

prepare_images("./raw_photos", "./training_data")

DreamBooth с LoRA (рекомендуется)

Эффективное по памяти обучение:

from diffusers import StableDiffusionPipeline, DDPMScheduler
from diffusers.loaders import LoraLoaderMixin
import torch

# Скрипт обучения
from accelerate import Accelerator
from diffusers import AutoencoderKL, UNet2DConditionModel
from transformers import CLIPTextModel, CLIPTokenizer
from peft import LoraConfig, get_peft_model

# Загрузка моделей
model_id = "runwayml/stable-diffusion-v1-5"
tokenizer = CLIPTokenizer.from_pretrained(model_id, subfolder="tokenizer")
text_encoder = CLIPTextModel.from_pretrained(model_id, subfolder="text_encoder")
vae = AutoencoderKL.from_pretrained(model_id, subfolder="vae")
unet = UNet2DConditionModel.from_pretrained(model_id, subfolder="unet")

# Добавляем LoRA в UNet
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["to_q", "to_k", "to_v", "to_out.0"],
    lora_dropout=0.1,
)

unet = get_peft_model(unet, lora_config)

Использование скрипта обучения diffusers

# Клонирование скриптов обучения
git clone https://github.com/huggingface/diffusers
cd diffusers/examples/dreambooth

# Установка зависимостей
pip install -r requirements.txt

# Обучение с LoRA
accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./training_data" \
    --instance_prompt="фото человека sks" \
    --output_dir="./dreambooth_model" \
    --resolution=512 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=1 \
    --learning_rate=1e-4 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --max_train_steps=500 \
    --seed=42

Параметры обучения

Параметр	Рекомендуется	Эффект
learning_rate	1e-4 до 5e-6	Больше = быстрее, меньше = стабильнее
max_train_steps	400-1000	Больше = лучшее соответствие
train_batch_size	1-2	Больше требует больше VRAM
разрешение	512 (SD1.5) / 1024 (SDXL)	Размер обучения

Промпт для объекта

Выберите уникальный идентификатор:

# Хорошие промпты
"a photo of sks person"      # sks = уникальный токен
"a photo of xyz dog"
"a photo of abc car"

# Токен (sks, xyz, abc) должен быть редким

С сохранением класса

Предотвращение переобучения:

accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./my_dog_photos" \
    --instance_prompt="a photo of sks dog" \
    --class_data_dir="./regular_dog_photos" \
    --class_prompt="a photo of dog" \
    --with_prior_preservation \
    --prior_loss_weight=1.0 \
    --num_class_images=200 \
    --output_dir="./dreambooth_dog" \
    --max_train_steps=800

SDXL DreamBooth

accelerate launch train_dreambooth_lora_sdxl.py \
    --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \
    --instance_data_dir="./training_data" \
    --instance_prompt="фото человека sks" \
    --output_dir="./dreambooth_sdxl" \
    --resolution=1024 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=4 \
    --learning_rate=1e-4 \
    --max_train_steps=500 \
    --mixed_precision="fp16"

Использование обученной модели

Загрузить LoRA

from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

# Загрузите вашу обученную LoRA
pipe.load_lora_weights("./dreambooth_model")

# Генерировать
image = pipe(
    "a photo of sks person as an astronaut on mars",
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("astronaut.png")

Полное дообучение

pipe = StableDiffusionPipeline.from_pretrained(
    "./dreambooth_model",
    torch_dtype=torch.float16
).to("cuda")

image = pipe("a photo of sks person in a suit").images[0]

Интерфейс Gradio

import gradio as gr
from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_lora_weights("./dreambooth_model")

def generate(prompt, negative_prompt, steps, guidance, seed):
    generator = torch.Generator("cuda").manual_seed(seed) if seed > 0 else None

    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=steps,
        guidance_scale=guidance,
        generator=generator
    ).images[0]

    return image

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Textbox(label="Prompt (use 'sks' for your subject)"),
        gr.Textbox(label="Negative Prompt", value="blurry, ugly"),
        gr.Slider(20, 50, value=30, step=1, label="Steps"),
        gr.Slider(5, 15, value=7.5, step=0.5, label="Guidance"),
        gr.Number(value=-1, label="Зерно")
    ],
    outputs=gr.Image(label="Сгенерированное изображение"),
    title="DreamBooth Portrait Generator"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Советы по обучению

Для людей

• Используйте разные ракурсы (спереди, сбоку, 3/4)

• Разные условия освещения

• Разные выражения лица

• Чёткие фотографии высокого разрешения

Для объектов

• Несколько ракурсов

• Разные фоны

• Постоянное освещение

• Без перекрытий

Для стилей

• 10–20 примерных изображений

• Единый художественный стиль

• Разные объекты в этом стиле

Устранение неполадок

Переобучение

• Уменьшите max_train_steps

• Снизьте learning_rate

• Используйте сохранение приоритета

• Больше обучающих изображений

Недообучение

• Увеличьте max_train_steps

• Повышайте learning_rate

• Больше обучающих изображений

• Проверьте качество изображений

Стиль не выучен

• Увеличьте ранг LoRA (r=16 или 32)

• Обучайте дольше

• Используйте больше примеров

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• Обучение Kohya - Продвинутое обучение

• Stable Diffusion WebUI - Использование моделей

• Дообучение LoRA - Обучение LLM