IP-Adapter

Utilisez des images comme prompts pour Stable Diffusion avec IP-Adapter

Utilisez des images comme invites pour la génération Stable Diffusion.

Tous les exemples peuvent être exécutés sur des serveurs GPU loués via la place de marché CLORE.AI.

Louer sur CLORE.AI

1. Visitez la place de marché CLORE.AI

2. Filtrez par type de GPU, VRAM et prix

3. Choisissez À la demande (tarif fixe) ou Spot (prix d'enchère)

4. Configurez votre commande :

   • Sélectionnez l'image Docker

   • Définissez les ports (TCP pour SSH, HTTP pour les interfaces web)

   • Ajoutez des variables d'environnement si nécessaire

   • Entrez la commande de démarrage

5. Sélectionnez le paiement : CLORE, BTC, ou USDT/USDC

6. Créez la commande et attendez le déploiement

Accédez à votre serveur

• Trouvez les détails de connexion dans Mes commandes

• Interfaces web : utilisez l'URL du port HTTP

• SSH : ssh -p <port> root@<proxy-address>

Qu'est-ce qu'IP-Adapter ?

IP-Adapter permet l'invitation par image :

• Utiliser des images de référence pour guider la génération

• Combiner avec des invites textuelles

• Transfert de style et de contenu

• Fonctionne avec SD 1.5 et SDXL

Types d'adaptateurs

Adaptateur	Cas d’utilisation	VRAM
IP-Adapter	Invitation générale par image	8 Go
IP-Adapter-Plus	Qualité supérieure	10GB
IP-Adapter-Face	Centré sur le visage	10GB
IP-Adapter-Full-Face	Détails complets du visage	12 Go

Déploiement rapide

Image Docker :

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Ports :

22/tcp
7860/http

Commande :

pip install diffusers transformers accelerate && \\
python ip_adapter_app.py

Accéder à votre service

Après le déploiement, trouvez votre http_pub URL dans Mes commandes:

1. Accédez à Mes commandes la page

2. Cliquez sur votre commande

3. Trouvez le http_pub URL (par ex., abc123.clorecloud.net)

Utilisez https://YOUR_HTTP_PUB_URL au lieu de localhost dans les exemples ci-dessous.

Installation

pip install diffusers transformers accelerate

Invitation d'image de base

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# Charger IP-Adapter
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Charger l'image de référence
ip_image = load_image("reference.jpg")

# Générer avec une invite image
image = pipe(
    prompt="un chat dans le même style",
    ip_adapter_image=ip_image,
    num_inference_steps=30
).images[0]

image.save("output.png")

Transfert de style

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="models",
    weight_name="ip-adapter_sd15.bin"
)

# Référence de style (par ex., peinture de Van Gogh)
style_image = load_image("van_gogh_starry_night.jpg")

# Générer un nouveau contenu dans ce style
image = pipe(
    prompt="une ligne d'horizon urbaine moderne",
    ip_adapter_image=style_image,
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("city_van_gogh.png")

Adaptateur de visage

Pour une génération centrée sur le visage :

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# Charger l'adaptateur spécifique au visage
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter-plus-face_sdxl_vit-h.bin"
)

# Visage de référence
face_image = load_image("face_reference.jpg")

# Générer un portrait
image = pipe(
    prompt="peinture de portrait, huile sur toile, qualité musée",
    ip_adapter_image=face_image,
    num_inference_steps=30
).images[0]

image.save("portrait.png")

Combinaison de plusieurs images

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Plusieurs images de référence
images = [
    load_image("style1.jpg"),
    load_image("style2.jpg")
]

# Générer en mélangeant les deux
image = pipe(
    prompt="peinture de paysage",
    ip_adapter_image=images,
    num_inference_steps=30
).images[0]

Contrôle de l'échelle

# Définir la force de l'adaptateur
pipe.set_ip_adapter_scale(0.6)  # 0.0 to 1.0

# Échelle faible = plus d'influence de l'invite textuelle

# Échelle élevée = plus d'influence de l'invite image

# Mise à l'échelle par image avec plusieurs images
pipe.set_ip_adapter_scale([0.7, 0.3])

Avec ControlNet

from diffusers import (
    AutoPipelineForText2Image,
    ControlNetModel
)
from diffusers.utils import load_image
import torch

# Charger ControlNet
controlnet = ControlNetModel.from_pretrained(
    "lllyasviel/control_v11p_sd15_canny",
    torch_dtype=torch.float16
)

pipe = AutoPipelineForText2Image.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    controlnet=controlnet,
    torch_dtype=torch.float16
).to("cuda")

# Charger IP-Adapter
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="models",
    weight_name="ip-adapter_sd15.bin"
)

# Image de style
style_image = load_image("style.jpg")

# Image de contrôle (carte des contours)
control_image = load_image("edges.png")

image = pipe(
    prompt="illustration détaillée",
    image=control_image,
    ip_adapter_image=style_image,
    num_inference_steps=30
).images[0]

Interface Gradio

import gradio as gr
import torch
from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

def generate(reference_image, prompt, negative_prompt, scale, steps):
    pipe.set_ip_adapter_scale(scale)

    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        ip_adapter_image=reference_image,
        num_inference_steps=steps
    ).images[0]

    return image

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Image(type="pil", label="Image de référence"),
        gr.Textbox(label="Invite", value="high quality"),
        gr.Textbox(label="Invite négative", value="ugly, blurry"),
        gr.Slider(0.0, 1.0, value=0.6, label="Échelle IP-Adapter"),
        gr.Slider(10, 50, value=30, step=1, label="Étapes")
    ],
    outputs=gr.Image(label="Image générée"),
    title="Invitation d'image IP-Adapter"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Transfert de style par lot

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch
import os

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Référence de style
style_image = load_image("art_style.jpg")

# Sujets à générer
subjects = [
    "un paysage de montagne",
    "une ville la nuit",
    "une forêt en automne",
    "un coucher de soleil sur l'océan",
    "un village enneigé"
]

output_dir = "./styled_outputs"
os.makedirs(output_dir, exist_ok=True)

for i, subject in enumerate(subjects):
    print(f"Génération de {i+1}/{len(subjects)} : {subject}")

    image = pipe(
        prompt=subject,
        ip_adapter_image=style_image,
        num_inference_steps=30
    ).images[0]

    image.save(f"{output_dir}/styled_{i:03d}.png")

Cas d’usage

Style de photographie de produit

# Référence : photo de produit professionnelle
style = load_image("product_photo_reference.jpg")

image = pipe(
    prompt="des baskets rouges sur fond blanc",
    ip_adapter_image=style,
    num_inference_steps=30
).images[0]

Transfert de style artistique

# Référence : peinture célèbre
style = load_image("monet_painting.jpg")

image = pipe(
    prompt="portrait d'une femme dans un jardin",
    ip_adapter_image=style,
    num_inference_steps=30
).images[0]

Cohérence de marque

# Image du guide de style de la marque
style = load_image("brand_style.jpg")

prompts = [
    "bannière principale du site web",
    "publication sur les réseaux sociaux",
    "en-tête de newsletter par e-mail"
]

for prompt in prompts:
    image = pipe(prompt=prompt, ip_adapter_image=style).images[0]

Optimisation de la mémoire

pipe.enable_model_cpu_offload()
pipe.enable_vae_slicing()

# Pour une VRAM très limitée
pipe.enable_sequential_cpu_offload()

Performances

Modèle	GPU	Temps
SD 1.5 + IP-Adapter	RTX 3090	~5 s
SDXL + IP-Adapter	RTX 3090	~12s
SDXL + IP-Adapter	RTX 4090	~8 s
SDXL + IP-Adapter-Plus	RTX 4090	~10 s

Dépannage

Le style n'est pas appliqué

• Augmentez ip_adapter_scale

• Utilisez une image de référence plus claire

• Assurez-vous que l'adaptateur est chargé correctement

Trop d'influence de la référence

• Diminuez ip_adapter_scale

• Invite textuelle plus spécifique

• Augmentez guidance_scale

Problèmes de mémoire

• Activez le déchargement vers le CPU

• Utilisez SD 1.5 au lieu de SDXL

• Résolution plus faible

Estimation des coûts

Tarifs typiques du marché CLORE.AI (en 2024) :

GPU	Tarif horaire	Tarif journalier	Session de 4 heures
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 Go	~$0.17	~$4.00	~$0.70
A100 80 Go	~$0.25	~$6.00	~$1.00

Les prix varient selon le fournisseur et la demande. Vérifiez la place de marché CLORE.AI les tarifs actuels.

Économisez de l'argent :

• Utilisez le Spot marché pour les travaux interrompables — environ un tiers des serveurs ont un prix spot inférieur au tarif à la demande (médiane ~13 % de remise), les autres s'alignent dessus

• Payez avec CLORE jetons

• Comparez les prix entre différents fournisseurs

Étapes suivantes

• InstantID - identité du visage

• ControlNet - contrôle de la structure

• Extension IP-Adapter pour Stable Diffusion WebUI