DreamBooth

Entrena modelos de imagen personalizados con DreamBooth en GPUs de Clore.ai

Entrena Stable Diffusion para generar imágenes de sujetos específicos.

Todos los ejemplos se pueden ejecutar en servidores GPU alquilados a través de Marketplace de CLORE.AI.

Alquilar en CLORE.AI

1. Visita Marketplace de CLORE.AI

2. Filtra por tipo de GPU, VRAM y precio

3. Elige Bajo demanda (tarifa fija) o Spot (precio ofertado)

4. Configura tu pedido:

   • Selecciona la imagen de Docker

   • Configura los puertos (TCP para SSH, HTTP para interfaces web)

   • Añade variables de entorno si es necesario

   • Introduce el comando de inicio

5. Selecciona el método de pago: CLORE, BTC, o USDT/USDC

6. Crea el pedido y espera al despliegue

Accede a tu servidor

• Encuentra los detalles de conexión en Mis pedidos

• Interfaces web: Usa la URL del puerto HTTP

• SSH: ssh -p <port> root@<proxy-address>

¿Qué es DreamBooth?

DreamBooth ajusta SD con tus imágenes:

• Entrena con 5-20 imágenes

• Genera nuevas imágenes de tu sujeto

• Cualquier estilo o contexto

• Funciona con SD 1.5 y SDXL

Requisitos

Modelo	VRAM	Tiempo de entrenamiento
SD 1.5	12GB	15-30 min
SDXL	24GB	30-60 min
SD 1.5 + LoRA	8GB	10-20 min

Despliegue rápido

Imagen de Docker:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Puertos:

22/tcp
7860/http

Comando:

pip install diffusers transformers accelerate bitsandbytes && \
pip install xformers peft && \
python dreambooth_train.py

Accediendo a tu servicio

Después del despliegue, encuentra tu http_pub URL en Mis pedidos:

1. Ve a Mis pedidos página

2. Haz clic en tu pedido

3. Encuentra la http_pub URL (p. ej., abc123.clorecloud.net)

Usa https://YOUR_HTTP_PUB_URL en lugar de localhost en los ejemplos a continuación.

Instalación

pip install diffusers transformers accelerate
pip install bitsandbytes xformers peft

Preparar datos de entrenamiento

1. Recopila 5-20 imágenes de tu sujeto

2. Recorta al rostro/sujeto

3. Redimensiona a 512x512 (o 1024x1024 para SDXL)

4. Elimina los fondos si es necesario

from PIL import Image
import os

def prepare_images(input_dir, output_dir, size=512):
    os.makedirs(output_dir, exist_ok=True)

    for filename in os.listdir(input_dir):
        if filename.endswith(('.jpg', '.png', '.jpeg')):
            img = Image.open(os.path.join(input_dir, filename))
            img = img.convert('RGB')

            # Recorte centrado a cuadrado
            min_dim = min(img.size)
            left = (img.width - min_dim) // 2
            top = (img.height - min_dim) // 2
            img = img.crop((left, top, left + min_dim, top + min_dim))

            # Redimensionar
            img = img.resize((size, size), Image.LANCZOS)
            img.save(os.path.join(output_dir, filename))

prepare_images("./raw_photos", "./training_data")

DreamBooth con LoRA (Recomendado)

Entrenamiento eficiente en memoria:

from diffusers import StableDiffusionPipeline, DDPMScheduler
from diffusers.loaders import LoraLoaderMixin
import torch

# Script de entrenamiento
from accelerate import Accelerator
from diffusers import AutoencoderKL, UNet2DConditionModel
from transformers import CLIPTextModel, CLIPTokenizer
from peft import LoraConfig, get_peft_model

# Cargar modelos
model_id = "runwayml/stable-diffusion-v1-5"
tokenizer = CLIPTokenizer.from_pretrained(model_id, subfolder="tokenizer")
text_encoder = CLIPTextModel.from_pretrained(model_id, subfolder="text_encoder")
vae = AutoencoderKL.from_pretrained(model_id, subfolder="vae")
unet = UNet2DConditionModel.from_pretrained(model_id, subfolder="unet")

# Añadir LoRA a UNet
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["to_q", "to_k", "to_v", "to_out.0"],
    lora_dropout=0.1,
)

unet = get_peft_model(unet, lora_config)

Usando el script de entrenamiento de diffusers

# Clonar scripts de entrenamiento
git clone https://github.com/huggingface/diffusers
cd diffusers/examples/dreambooth

# Instalar dependencias
pip install -r requirements.txt

# Entrenar con LoRA
accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./training_data" \
    --instance_prompt="una foto de la persona sks" \
    --output_dir="./dreambooth_model" \
    --resolution=512 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=1 \
    --learning_rate=1e-4 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --max_train_steps=500 \
    --seed=42

Parámetros de entrenamiento

Parámetro	Recomendado	Efecto
learning_rate	1e-4 a 5e-6	Más alto = más rápido, más bajo = estable
max_train_steps	400-1000	Más = mejor ajuste
train_batch_size	1-2	Más alto necesita más VRAM
resolución	512 (SD1.5) / 1024 (SDXL)	Tamaño de entrenamiento

Prompt de instancia

Elige un identificador único:

# Buenos prompts
"una foto de sks persona"      # sks = token único
"una foto de xyz perro"
"una foto de abc coche"

# El token (sks, xyz, abc) debe ser poco común

Con preservación de clase

Evita el sobreajuste:

accelerate launch train_dreambooth_lora.py \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --instance_data_dir="./my_dog_photos" \
    --instance_prompt="una foto de sks perro" \
    --class_data_dir="./regular_dog_photos" \
    --class_prompt="una foto de perro" \
    --with_prior_preservation \
    --prior_loss_weight=1.0 \
    --num_class_images=200 \
    --output_dir="./dreambooth_dog" \
    --max_train_steps=800

DreamBooth de SDXL

accelerate launch train_dreambooth_lora_sdxl.py \
    --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \
    --instance_data_dir="./training_data" \
    --instance_prompt="una foto de la persona sks" \
    --output_dir="./dreambooth_sdxl" \
    --resolution=1024 \
    --train_batch_size=1 \
    --gradient_accumulation_steps=4 \
    --learning_rate=1e-4 \
    --max_train_steps=500 \
    --mixed_precision="fp16"

Usando el modelo entrenado

Cargar LoRA

from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

# Cargue su LoRA entrenado
pipe.load_lora_weights("./dreambooth_model")

# Generar
image = pipe(
    "una foto de sks persona como astronauta en Marte",
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("astronaut.png")

Ajuste fino completo

pipe = StableDiffusionPipeline.from_pretrained(
    "./dreambooth_model",
    torch_dtype=torch.float16
).to("cuda")

image = pipe("una foto de sks persona con traje").images[0]

Interfaz de Gradio

import gradio as gr
from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_lora_weights("./dreambooth_model")

def generate(prompt, negative_prompt, steps, guidance, seed):
    generator = torch.Generator("cuda").manual_seed(seed) if seed > 0 else None

    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=steps,
        guidance_scale=guidance,
        generator=generator
    ).images[0]

    return image

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Textbox(label="Prompt (usa 'sks' para tu sujeto)"),
        gr.Textbox(label="Prompt negativo", value="borroso, feo"),
        gr.Slider(20, 50, value=30, step=1, label="Pasos"),
        gr.Slider(5, 15, value=7.5, step=0.5, label="Guía"),
        gr.Number(value=-1, label="Semilla")
    ],
    outputs=gr.Image(label="Imagen generada"),
    Generador de retratos DreamBooth
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Consejos de entrenamiento

Para personas

• Usa ángulos variados (frontal, lateral, 3/4)

• Diferentes condiciones de iluminación

• Varias expresiones

• Fotos claras y de alta resolución

Para objetos

• Múltiples ángulos

• Diferentes fondos

• Iluminación consistente

• Sin oclusión

Para estilos

• 10-20 imágenes de ejemplo

• Estilo artístico consistente

• Varios sujetos en ese estilo

Solución de problemas

Sobreajuste

• Reduce max_train_steps

• Reduce learning_rate

• Usa preservación previa

• Más imágenes de entrenamiento

Subajuste

• Aumenta max_train_steps

• learning_rate más alto

• Más imágenes de entrenamiento

• Comprueba la calidad de las imágenes

El estilo no se aprende

• Aumenta el rango de LoRA (r=16 o 32)

• Entrena durante más tiempo

• Usa más ejemplos

Estimación de costos

Tarifas típicas del marketplace de CLORE.AI (a partir de 2024):

GPU	Tarifa por hora	Tarifa diaria	Sesión de 4 horas
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

Los precios varían según el proveedor y la demanda. Consulta Marketplace de CLORE.AI las tarifas actuales.

Ahorra dinero:

• Usa el Spot mercado para trabajo interrumpible — alrededor de un tercio de los servidores fija el precio spot por debajo del precio bajo demanda (mediana de ~13% de descuento), el resto lo iguala

• Paga con CLORE tokens

• Compara precios entre distintos proveedores

Siguientes pasos

• Entrenamiento de Kohya - Entrenamiento avanzado

• Stable Diffusion WebUI - Usar modelos

• Ajuste fino de LoRA - entrenamiento de LLM