AnimateDiff

AnimateDiff est un module plug-and-play qui anime vos modèles Stable Diffusion existants sans aucun entraînement supplémentaire. Avec plus de 10 000 étoiles sur GitHub, c'est le cadre de référence pour transformer des checkpoints SD d'images fixes en générateurs vidéo fluides et temporellement cohérents. Exécutez-le sur une instance GPU Clore.ai en utilisant ComfyUI comme interface pour une flexibilité maximale.

---

Qu'est-ce qu'AnimateDiff ?

AnimateDiff insère un module de mouvement dans un U-Net Stable Diffusion gelé. Le module de mouvement est entraîné une fois sur des données vidéo et peut être combiné avec n'importe quel checkpoint SD 1.5 affiné — modèles DreamBooth, LoRA, adaptateurs ControlNet — sans réentraînement. Le résultat est de courts clips animés (généralement 16–32 images à 8 ips) qui préservent le style du modèle de base.

Points forts :

• Fonctionne avec tout checkpoint SD 1.5 dès la sortie de l'emballage

• Compatible avec ControlNet, IP-Adapter, LoRA et autres extensions

• L'écosystème de nœuds ComfyUI fournit un contrôle complet du pipeline

• Modules de mouvement SDXL disponibles pour une sortie à plus haute résolution

• Zoo de modèles maintenu par la communauté avec des modules de mouvement spécifiques à des domaines

---

Prérequis

Exigence	Minimum	Recommandé
VRAM GPU	8 Go	16–24 Go
GPU	RTX 3080	RTX 4090 / A100
RAM	16 Go	32 Go
Stockage	20 Go	50+ Go

AnimateDiff avec une séquence standard de 16 images en 512×512 consomme environ 8–10 Go de VRAM. Pour du 768×768 ou des séquences plus longues, 16+ Go sont recommandés.

---

Étape 1 — Louez un GPU sur Clore.ai

1. Aller à clore.ai et connectez-vous.

2. Cliquez Place de marché et filtrez par VRAM (≥ 16 Go pour de meilleurs résultats).

3. Sélectionnez un serveur — RTX 4090 ou A6000 offrent le meilleur rapport qualité/prix.

4. Sous image Docker, saisissez votre image personnalisée (voir l'étape 2 ci-dessous).

5. Configurer ports ouverts: 22 (SSH) et 8188 (interface web ComfyUI).

6. Cliquez Louez et attendez que l'instance démarre (~1–2 minutes).

Utilisez le Avancé configuration de port pour mapper le port 8188 à un port public. Notez le port public attribué — vous l'utiliserez pour accéder à l'interface web ComfyUI.

---

Étape 2 — Image Docker

Il n'existe pas d'image Docker AnimateDiff officielle unique. L'approche recommandée est d'utiliser une image basée sur ComfyUI avec les nœuds AnimateDiff préinstallés.

Image publique recommandée :

yanwk/comfyui-boot:latest

Ou construisez la vôtre :

FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-runtime

RUN apt-get update && apt-get install -y \
    git wget curl ffmpeg libgl1 libglib2.0-0 \
    openssh-server && \
    rm -rf /var/lib/apt/lists/*

# Configurer SSH
RUN mkdir /var/run/sshd && \
    echo 'root:clore123' | chpasswd && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# Cloner ComfyUI
RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \
    cd /workspace/ComfyUI && pip install -r requirements.txt

# Installer ComfyUI Manager
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/ltdrdata/ComfyUI-Manager

# Installer les nœuds AnimateDiff-Evolved
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \
    pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt

# Installer VideoHelperSuite pour la sortie
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \
    pip install -r ComfyUI-VideoHelperSuite/requirements.txt

EXPOSE 22 8188

CMD service ssh start && \
    python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header

---

Étape 3 — Connectez-vous via SSH

Une fois l'instance en cours d'exécution, connectez-vous via SSH pour télécharger les modèles :

ssh root@<clore-host> -p <assigned-ssh-port>

Remplacez <clore-host> et <assigned-ssh-port> avec les valeurs affichées dans votre tableau de bord Clore.ai.

---

Étape 4 — Télécharger les modèles

AnimateDiff nécessite au minimum un checkpoint de base SD 1.5 et un module de mouvement.

Télécharger le module de mouvement

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

# module de mouvement v3 (recommandé)
wget -O v3_sd15_mm.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt"

# module de mouvement v2 (compatibilité plus large)
wget -O mm_sd_v15_v2.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt"

Télécharger un checkpoint de base SD 1.5

cd /workspace/ComfyUI/models/checkpoints

# Realistic Vision (populaire pour AnimateDiff)
wget -O realisticVisionV60B1_v51VAE.safetensors \
  "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors"

Vous pouvez utiliser n'importe quel fine-tune SD 1.5. Les choix populaires incluent DreamShaper, Deliberate et Epicphotogasm. Téléchargez depuis CivitAI ou Hugging Face.

(Optionnel) Télécharger le module de mouvement SDXL

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

wget -O temporaldiff-v1-animatediff.safetensors \
  "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors"

---

Étape 5 — Accéder à ComfyUI

Ouvrez votre navigateur et rendez-vous sur :

http://<clore-host>:<public-port-8188>

Vous devriez voir l'interface de l'éditeur de nœuds ComfyUI.

Ajoutez cette URL aux favoris. ComfyUI sauvegarde automatiquement votre workflow pendant que vous travaillez — pas besoin d'enregistrer manuellement sauf pour exporter en JSON.

---

Étape 6 — Charger un workflow AnimateDiff

Workflow AnimateDiff de base (JSON)

Dans ComfyUI, appuyez sur Charger et collez ou importez ce JSON de workflow, ou construisez-le manuellement avec ces nœuds :

Chaîne de nœuds principale :

1. Charger Checkpoint → votre checkpoint SD 1.5

2. CLIP Text Encode (Prompt) → prompts positifs et négatifs

3. AnimateDiff Loader → sélectionnez votre module de mouvement

4. KSampler (Efficient) → paramètres d'échantillonnage

5. VAE Decode → décoder les latents

6. Video Combine (VideoHelperSuite) → exporter en GIF/MP4

Paramètres d'échantillonnage recommandés

Paramètre	Valeur
Steps	20–25
Échelle CFG	7–8
Échantillonneur	DPM++ 2M Karras
Largeur × Hauteur	512 × 512
Images	16
Longueur de contexte	16

---

Étape 7 — Lancez votre première animation

1. Dans le CLIP Text Encode nœud, saisissez votre prompt :

   Un lion majestueux marchant dans une herbe haute au coucher du soleil, cinématique, 4k

2. Dans le nœud de prompt négatif :

   pire qualité, basse qualité, flou, watermark, déformé, nsfw

3. Dans AnimateDiff Loader, sélectionnez v3_sd15_mm.ckpt

4. Cliquez Mettre en file le prompt

Le temps de génération pour 16 images en 512×512 avec 20 étapes est d'environ 30–60 secondes sur un RTX 4090. Les séquences plus longues et les résolutions plus élevées augmentent linéairement.

---

Techniques avancées

Utiliser ControlNet avec AnimateDiff

AnimateDiff fonctionne avec ControlNet pour la génération vidéo guidée :

# Télécharger le modèle ControlNet
cd /workspace/ComfyUI/models/controlnet
wget -O control_v11p_sd15_openpose.pth \
  "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth"

Ajouter un Appliquer ControlNet nœud entre Charger le modèle ControlNet et KSampler. Utilisez une image de squelette OpenPose comme entrée de conditionnement.

Prompt Travel (Animation par images-clés)

Le nœud AnimateDiff-Evolved prend en charge prompt travel — différents prompts texte à différentes images :

"Une forêt à l'aube" → image 0
"Une forêt à midi" → image 8
"Une forêt au coucher du soleil" → image 16

Ceci crée des transitions fluides entre les scènes sans animation par images-clés manuelle.

Utiliser LoRA avec AnimateDiff

# Télécharger LoRA de mouvement
cd /workspace/ComfyUI/models/loras
wget -O v2_lora_PanLeft.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt"

Ajouter un Chargeur LoRA nœud pour appliquer des effets de mouvement de caméra : PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise.

---

Formats de sortie

AnimateDiff via VideoHelperSuite prend en charge :

Format	Nœud	Remarques
GIF	Video Combine	Idéal pour le partage
MP4 (h264)	Video Combine	Taille de fichier la plus petite
WebP	Video Combine	Bon compromis qualité/taille
Images PNG	Enregistrer l’image	Pour le post-traitement

---

Dépannage

Mémoire insuffisante (CUDA OOM)

RuntimeError : CUDA out of memory

Solutions :

• Réduire le nombre d'images (essayez 8 au lieu de 16)

• Réduire la résolution (512×512 est le point idéal pour SD 1.5)

• Activer --lowvram option dans la commande de démarrage de ComfyUI

• Utilisez fp16 précision dans Charger Checkpoint nœud

Module de mouvement introuvable

Erreur : module de mouvement introuvable

Solution : Vérifiez le .ckpt fichier se trouve dans :

/workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

Actualisez la page ComfyUI pour recharger les modèles disponibles.

Scintillement / images incohérentes

Solutions :

• Augmenter context_length pour correspondre au nombre total d'images

• Utilisez v3_sd15_mm.ckpt au lieu de v2 (meilleure cohérence temporelle)

• Réduire l'échelle CFG (essayez 7 au lieu de 9)

• Utilisez un échantillonneur à variance plus faible : DPM++ 2M Karras ou Euler a

Connexion SSH refusée

ssh : connexion à l'hôte <ip> port <port> : Connexion refusée

Solution : Attendez 1–2 minutes que le démon SSH démarre, ou vérifiez si le conteneur s'est entièrement initialisé via les logs du tableau de bord Clore.ai.

---

Recommandations GPU Clore.ai

AnimateDiff utilise une architecture SD 1.5 — les exigences en VRAM sont modestes comparées aux modèles vidéo modernes, ce qui le rend économique.

GPU	VRAM	Prix Clore.ai	16 images @ 512px	Remarques
RTX 3090	24 Go	~0,12 $/h	~50s	Meilleur rapport qualité/prix — exécutez plusieurs lots en file
RTX 4090	24 Go	~0,70 $/h	~30s	GPU grand public le plus rapide
A100 40GB	40 Go	~1,20 $/h	~18s	Surdimensionné pour SD 1.5, mais bon pour SDXL+AnimateDiff
RTX 3080 10 Go	10 Go	~$0.07/heure	~90s	Minimum économique — limité à 512px, clips plus courts

Le RTX 3090 est le point idéal pour AnimateDiff à ~0,12 $/heure. Une animation de 16 images prend ~50 secondes, ce qui signifie que vous pouvez générer plus de 70 clips par dollar dépensé. Pour une création de contenu à grand volume, mettez en file les lots dans ComfyUI et lancez pendant la nuit.

Utilisateurs SDXL AnimateDiff : Les modules de mouvement SDXL nécessitent 12 Go+ de VRAM pour du 768px. Les RTX 3090/4090 gèrent cela bien. Le RTX 3080 (10 Go) est trop limité pour les workflows SDXL.

---

Ressources utiles

• AnimateDiff GitHub

• ComfyUI-AnimateDiff-Evolved

• ComfyUI Officiel

• Modèles de mouvement AnimateDiff (HuggingFace)

• CivitAI — Checkpoints SD