IP-Adapter

Utilisez des images comme invites pour Stable Diffusion avec IP-Adapter

Utilisez des images comme invites pour la génération Stable Diffusion.

Tous les exemples peuvent être exécutés sur des serveurs GPU loués via CLORE.AI Marketplace.

Location sur CLORE.AI

1. Visitez CLORE.AI Marketplace

2. Filtrer par type de GPU, VRAM et prix

3. Choisir À la demande (tarif fixe) ou Spot (prix d'enchère)

4. Configurez votre commande :

   • Sélectionnez l'image Docker

   • Définissez les ports (TCP pour SSH, HTTP pour les interfaces web)

   • Ajoutez des variables d'environnement si nécessaire

   • Entrez la commande de démarrage

5. Sélectionnez le paiement : CLORE, BTC, ou USDT/USDC

6. Créez la commande et attendez le déploiement

Accédez à votre serveur

• Trouvez les détails de connexion dans Mes commandes

• Interfaces Web : utilisez l'URL du port HTTP

• SSH : ssh -p <port> root@<adresse-proxy>

Qu'est-ce que IP-Adapter ?

IP-Adapter permet l'utilisation d'images comme invites :

• Utiliser des images de référence pour guider la génération

• Combiner avec des invites textuelles

• Transfert de style et transfert de contenu

• Fonctionne avec SD 1.5 et SDXL

Types d'adaptateurs

Adaptateur	Cas d'utilisation	VRAM
IP-Adapter	Invite d'image générale	8 Go
IP-Adapter-Plus	Qualité supérieure	10Go
IP-Adapter-Face	Axé sur le visage	10Go
IP-Adapter-Full-Face	Détails complets du visage	12Go

Déploiement rapide

Image Docker :

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

Ports :

22/tcp
7860/http

Commande :

pip install diffusers transformers accelerate && \
python ip_adapter_app.py

Accéder à votre service

Après le déploiement, trouvez votre http_pub URL dans Mes commandes:

1. Aller à la Mes commandes page

2. Cliquez sur votre commande

3. Trouvez l' http_pub URL (par ex., abc123.clorecloud.net)

Utilisez https://VOTRE_HTTP_PUB_URL au lieu de localhost dans les exemples ci-dessous.

Installation

pip install diffusers transformers accelerate

Invite d'image basique

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# Charger IP-Adapter
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Charger l'image de référence
ip_image = load_image("reference.jpg")

# Générer avec une invite image
image = pipe(
    prompt="un chat dans le même style",
    ip_adapter_image=ip_image,
    num_inference_steps=30
).images[0]

image.save("output.png")

Transfert de style

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="models",
    weight_name="ip-adapter_sd15.bin"
)

# Référence de style (par ex. une peinture de Van Gogh)
style_image = load_image("van_gogh_starry_night.jpg")

# Générer un nouveau contenu dans ce style
image = pipe(
    prompt="une ligne d'horizon de ville moderne",
    ip_adapter_image=style_image,
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("city_van_gogh.png")

Adaptateur visage

Pour la génération axée sur le visage :

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# Charger l'adaptateur spécifique au visage
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter-plus-face_sdxl_vit-h.bin"
)

# Visage de référence
face_image = load_image("face_reference.jpg")

# Générer un portrait
image = pipe(
    prompt="portrait peint, huile sur toile, qualité musée",
    ip_adapter_image=face_image,
    num_inference_steps=30
).images[0]

image.save("portrait.png")

Combiner plusieurs images

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Plusieurs images de référence
images = [
    load_image("style1.jpg"),
    load_image("style2.jpg")
]

# Générer en mélangeant les deux
image = pipe(
    prompt="peinture de paysage",
    ip_adapter_image=images,
    num_inference_steps=30
).images[0]

Contrôle de l'échelle

# Définir la puissance de l'adaptateur
pipe.set_ip_adapter_scale(0.6)  # 0.0 à 1.0

# Faible échelle = plus d'influence de l'invite textuelle

# Haute échelle = plus d'influence de l'invite image

# Mise à l'échelle par image avec plusieurs images
pipe.set_ip_adapter_scale([0.7, 0.3])

Avec ControlNet

from diffusers import (
    AutoPipelineForText2Image,
    ControlNetModel
)
from diffusers.utils import load_image
import torch

# Charger ControlNet
controlnet = ControlNetModel.from_pretrained(
    "lllyasviel/control_v11p_sd15_canny",
    torch_dtype=torch.float16
)

pipe = AutoPipelineForText2Image.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    controlnet=controlnet,
    torch_dtype=torch.float16
).to("cuda")

# Charger IP-Adapter
pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="models",
    weight_name="ip-adapter_sd15.bin"
)

# Image de style
style_image = load_image("style.jpg")

# Image de contrôle (carte des contours)
control_image = load_image("edges.png")

image = pipe(
    prompt="illustration détaillée",
    image=control_image,
    ip_adapter_image=style_image,
    num_inference_steps=30
).images[0]

Interface Gradio

import gradio as gr
import torch
from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

def generate(reference_image, prompt, negative_prompt, scale, steps):
    pipe.set_ip_adapter_scale(scale)

    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        ip_adapter_image=reference_image,
        num_inference_steps=steps
    ).images[0]

    return image

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Image(type="pil", label="Image de référence"),
        gr.Textbox(label="Invite", value="haute qualité"),
        gr.Textbox(label="Invite négative", value="laid, flou"),
        gr.Slider(0.0, 1.0, value=0.6, label="Échelle IP-Adapter"),
        gr.Slider(10, 50, value=30, step=1, label="Étapes")
    ],
    outputs=gr.Image(label="Generated Image"),
    title="Invite d'image IP-Adapter"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Transfert de style en lot

from diffusers import AutoPipelineForText2Image
from diffusers.utils import load_image
import torch
import os

pipe = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter(
    "h94/IP-Adapter",
    subfolder="sdxl_models",
    weight_name="ip-adapter_sdxl.bin"
)

# Référence de style
style_image = load_image("art_style.jpg")

# Sujets à générer
subjects = [
    "un paysage de montagne",
    "une ville la nuit",
    "une forêt en automne",
    "un coucher de soleil sur l'océan",
    "un village enneigé"
]

output_dir = "./styled_outputs"
os.makedirs(output_dir, exist_ok=True)

for i, subject in enumerate(subjects):
    print(f"Génération {i+1}/{len(subjects)} : {subject}")

    image = pipe(
        prompt=subject,
        ip_adapter_image=style_image,
        num_inference_steps=30
    ).images[0]

    image.save(f"{output_dir}/styled_{i:03d}.png")

Cas d'utilisation

Style photographie de produit

# Référence : photo produit professionnelle
style = load_image("product_photo_reference.jpg")

image = pipe(
    prompt="baskets rouges sur fond blanc",
    ip_adapter_image=style,
    num_inference_steps=30
).images[0]

Transfert de style artistique

# Référence : peinture célèbre
style = load_image("monet_painting.jpg")

image = pipe(
    prompt="portrait d'une femme dans un jardin",
    ip_adapter_image=style,
    num_inference_steps=30
).images[0]

Cohérence de la marque

# Référence : image du guide de style de la marque
style = load_image("brand_style.jpg")

prompts = [
    "bannière principale du site web",
    "publication sur les réseaux sociaux",
    "en-tête de newsletter par e-mail"
]

for prompt in prompts:
    image = pipe(prompt=prompt, ip_adapter_image=style).images[0]

Optimisation de la mémoire

pipe.enable_model_cpu_offload()
pipe.enable_vae_slicing()

# Pour une VRAM très limitée
pipe.enable_sequential_cpu_offload()

Performances

Modèle	GPU	Temps
SD 1.5 + IP-Adapter	RTX 3090	~5s
SDXL + IP-Adapter	RTX 3090	~12s
SDXL + IP-Adapter	RTX 4090	~8s
SDXL + IP-Adapter-Plus	RTX 4090	~10s

Dépannage

Style non appliqué

• Augmenter ip_adapter_scale

• Utiliser une image de référence plus claire

• Assurer que l'adaptateur est chargé correctement

Trop d'influence de la référence

• Diminuer ip_adapter_scale

• Invite textuelle plus spécifique

• Augmenter guidance_scale

Problèmes de mémoire

• Activer le déchargement vers le CPU

• Utiliser SD 1.5 au lieu de SDXL

• Baisser la résolution

Estimation des coûts

Tarifs typiques du marché CLORE.AI (à partir de 2024) :

GPU	Tarif horaire	Tarif journalier	Session de 4 heures
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

Les prix varient selon le fournisseur et la demande. Vérifiez CLORE.AI Marketplace pour les tarifs actuels.

Économisez de l'argent :

• Utilisez Spot market pour les charges de travail flexibles (souvent 30-50 % moins cher)

• Payer avec CLORE jetons

• Comparer les prix entre différents fournisseurs

Prochaines étapes

• InstantID - Identité du visage

• ControlNet - Contrôle de la structure

• Stable Diffusion WebUI - extension IP-Adapter