DreamBooth

Entraînez des modèles d'images personnalisés avec DreamBooth sur les GPU Clore.ai

Entraînez Stable Diffusion à générer des images de sujets spécifiques.

Tous les exemples peuvent être exécutés sur des serveurs GPU loués via la place de marché CLORE.AI.

Louer sur CLORE.AI

1. Visitez la place de marché CLORE.AI

2. Filtrez par type de GPU, VRAM et prix

3. Choisissez À la demande (tarif fixe) ou Spot (prix d'enchère)

4. Configurez votre commande :

   • Sélectionnez l'image Docker

   • Définissez les ports (TCP pour SSH, HTTP pour les interfaces web)

   • Ajoutez des variables d'environnement si nécessaire

   • Entrez la commande de démarrage

5. Sélectionnez le paiement : CLORE, BTC, ou USDT/USDC

6. Créez la commande et attendez le déploiement

Accédez à votre serveur

• Trouvez les détails de connexion dans Mes commandes

• Interfaces web : utilisez l'URL du port HTTP

• SSH : ssh -p <port> root@<proxy-address>

Qu’est-ce que DreamBooth ?

DreamBooth affine SD sur vos images :

• Entraîner sur 5 à 20 images

• Générer de nouvelles images de votre sujet

• N’importe quel style ou contexte

• Fonctionne avec SD 1.5 et SDXL

Exigences

Modèle	VRAM	Temps d’entraînement
SD 1.5	12 Go	15 à 30 min
SDXL	24GB	30 à 60 min
SD 1.5 + LoRA	8 Go	10 à 20 min

Déploiement rapide

Image Docker :

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Ports :

22/tcp
7860/http

Commande :

pip install diffusers transformers accelerate bitsandbytes && \
pip install xformers peft && \
python dreambooth_train.py

Accéder à votre service

Après le déploiement, trouvez votre http_pub URL dans Mes commandes:

1. Accédez à Mes commandes la page

2. Cliquez sur votre commande

3. Trouvez le http_pub URL (par ex., abc123.clorecloud.net)

Utilisez https://YOUR_HTTP_PUB_URL au lieu de localhost dans les exemples ci-dessous.

Installation

pip install diffusers transformers accelerate
pip install bitsandbytes xformers peft

Préparer les données d’entraînement

1. Collectez 5 à 20 images de votre sujet

2. Recadrer sur le visage/sujet

3. Redimensionner en 512x512 (ou 1024x1024 pour SDXL)

4. Supprimer les arrière-plans si nécessaire

from PIL import Image
import os

def prepare_images(input_dir, output_dir, size=512):
    os.makedirs(output_dir, exist_ok=True)

    for filename in os.listdir(input_dir):
        if filename.endswith(('.jpg', '.png', '.jpeg')):
            img = Image.open(os.path.join(input_dir, filename))
            img = img.convert('RGB')

            # Recadrage centré en carré
            min_dim = min(img.size)
            left = (img.width - min_dim) // 2
            top = (img.height - min_dim) // 2
            img = img.crop((left, top, left + min_dim, top + min_dim))

            # Redimensionner
            img = img.resize((size, size), Image.LANCZOS)
            img.save(os.path.join(output_dir, filename))

prepare_images("./raw_photos", "./training_data")

DreamBooth avec LoRA (recommandé)

Entraînement économe en mémoire :

from diffusers import StableDiffusionPipeline, DDPMScheduler
from diffusers.loaders import LoraLoaderMixin
import torch

# Script d’entraînement
from accelerate import Accelerator
from diffusers import AutoencoderKL, UNet2DConditionModel
from transformers import CLIPTextModel, CLIPTokenizer
from peft import LoraConfig, get_peft_model

# Charger les modèles
model_id = "runwayml/stable-diffusion-v1-5"
tokenizer = CLIPTokenizer.from_pretrained(model_id, subfolder="tokenizer")
text_encoder = CLIPTextModel.from_pretrained(model_id, subfolder="text_encoder")
vae = AutoencoderKL.from_pretrained(model_id, subfolder="vae")
unet = UNet2DConditionModel.from_pretrained(model_id, subfolder="unet")

# Ajouter LoRA à UNet
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["to_q", "to_k", "to_v", "to_out.0"],
    lora_dropout=0.1,
)

unet = get_peft_model(unet, lora_config)

Utilisation du script d’entraînement diffusers

# Cloner les scripts d’entraînement
git clone https://github.com/huggingface/diffusers
cd diffusers/examples/dreambooth

# Installer les dépendances
pip install -r requirements.txt

# Entraîner avec LoRA
accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./training_data" \
    --instance_prompt="une photo de sks person" \
    --output_dir="./dreambooth_model" \
    --resolution=512 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=1 \
    --learning_rate=1e-4 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --max_train_steps=500 \
    --seed=42

Paramètres d'entraînement

Paramètre	Recommandé	Effet
learning_rate	1e-4 à 5e-6	Plus élevé = plus rapide, plus faible = plus stable
max_train_steps	400-1000	Plus = meilleur ajustement
train_batch_size	1-2	Plus élevé nécessite plus de VRAM
resolution	512 (SD1.5) / 1024 (SDXL)	Taille d’entraînement

Prompt de l’instance

Choisissez un identifiant unique :

# Bons prompts
"une photo de personne sks"      # sks = jeton unique
"une photo de chien xyz"
"une photo de voiture abc"

# Le jeton (sks, xyz, abc) doit être rare

Avec préservation de classe

Empêcher le surapprentissage :

accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./my_dog_photos" \
    --instance_prompt="une photo de chien sks" \
    --class_data_dir="./regular_dog_photos" \
    --class_prompt="une photo de chien" \
    --with_prior_preservation \
    --prior_loss_weight=1.0 \
    --num_class_images=200 \
    --output_dir="./dreambooth_dog" \
    --max_train_steps=800

DreamBooth SDXL

accelerate launch train_dreambooth_lora_sdxl.py \
    --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \
    --instance_data_dir="./training_data" \
    --instance_prompt="une photo de sks person" \
    --output_dir="./dreambooth_sdxl" \
    --resolution=1024 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=4 \
    --learning_rate=1e-4 \
    --max_train_steps=500 \
    --mixed_precision="fp16"

Utilisation du modèle entraîné

Charger la LoRA

from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

# Chargez votre LoRA entraînée
pipe.load_lora_weights("./dreambooth_model")

# Générer
image = pipe(
    "une photo de personne sks en astronaute sur Mars",
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("astronaut.png")

Ajustement complet

pipe = StableDiffusionPipeline.from_pretrained(
    "./dreambooth_model",
    torch_dtype=torch.float16
).to("cuda")

image = pipe("une photo de personne sks en costume").images[0]

Interface Gradio

import gradio as gr
from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_lora_weights("./dreambooth_model")

def generate(prompt, negative_prompt, steps, guidance, seed):
    generator = torch.Generator("cuda").manual_seed(seed) if seed > 0 else None

    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=steps,
        guidance_scale=guidance,
        generator=generator
    ).images[0]

    return image

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Textbox(label="Prompt (utilisez 'sks' pour votre sujet)"),
        gr.Textbox(label="Prompt négatif", value="flou, laid"),
        gr.Slider(20, 50, value=30, step=1, label="Étapes"),
        gr.Slider(5, 15, value=7.5, step=0.5, label="Guidance"),
        gr.Number(value=-1, label="Graine")
    ],
    outputs=gr.Image(label="Image générée"),
    Générateur de portraits DreamBooth
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Conseils d'entraînement

Pour les personnes

• Utilisez des angles variés (face, profil, 3/4)

• Différentes conditions d’éclairage

• Expressions variées

• Photos nettes en haute résolution

Pour les objets

• Plusieurs angles

• Différents arrière-plans

• Éclairage cohérent

• Pas d’occlusion

Pour les styles

• 10 à 20 images d’exemple

• Style artistique cohérent

• Sujets variés dans ce style

Dépannage

Surapprentissage

• Réduire max_train_steps

• Baisser learning_rate

• Utiliser la préservation a priori

• Plus d’images d’entraînement

Sous-apprentissage

• Augmenter max_train_steps

• Learning_rate plus élevé

• Plus d’images d’entraînement

• Vérifier la qualité des images

Le style n’est pas appris

• Augmenter le rang LoRA (r=16 ou 32)

• Entraîner plus longtemps

• Utiliser plus d’exemples

Estimation des coûts

Tarifs typiques du marché CLORE.AI (en 2024) :

GPU	Tarif horaire	Tarif journalier	Session de 4 heures
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 Go	~$0.17	~$4.00	~$0.70
A100 80 Go	~$0.25	~$6.00	~$1.00

Les prix varient selon le fournisseur et la demande. Vérifiez la place de marché CLORE.AI les tarifs actuels.

Économisez de l'argent :

• Utilisez le Spot marché pour les travaux interrompables — environ un tiers des serveurs ont un prix spot inférieur au tarif à la demande (médiane ~13 % de remise), les autres s'alignent dessus

• Payez avec CLORE jetons

• Comparez les prix entre différents fournisseurs

Étapes suivantes

• Entraînement Kohya - Entraînement avancé

• Stable Diffusion WebUI - Utiliser des modèles

• Ajustement fin LoRA - Entraînement LLM