> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-fr/generation-video/animatediff.md). # AnimateDiff AnimateDiff est un module plug-and-play qui **anime vos modèles Stable Diffusion existants** sans aucun entraînement supplémentaire. Avec plus de 10 000 étoiles sur GitHub, c'est le cadre de référence pour transformer des checkpoints SD d'images fixes en générateurs vidéo fluides et temporellement cohérents. Exécutez-le sur une instance GPU Clore.ai en utilisant ComfyUI comme interface pour une flexibilité maximale. *** ## Qu'est-ce qu'AnimateDiff ? AnimateDiff insère un **module de mouvement** dans un U-Net Stable Diffusion gelé. Le module de mouvement est entraîné une fois sur des données vidéo et peut être combiné avec n'importe quel checkpoint SD 1.5 affiné — modèles DreamBooth, LoRA, adaptateurs ControlNet — sans réentraînement. Le résultat est de courts clips animés (généralement 16–32 images à 8 ips) qui préservent le style du modèle de base. **Points forts :** * Fonctionne avec tout checkpoint SD 1.5 dès la sortie de l'emballage * Compatible avec ControlNet, IP-Adapter, LoRA et autres extensions * L'écosystème de nœuds ComfyUI fournit un contrôle complet du pipeline * Modules de mouvement SDXL disponibles pour une sortie à plus haute résolution * Zoo de modèles maintenu par la communauté avec des modules de mouvement spécifiques à des domaines *** ## Prérequis | Exigence | Minimum | Recommandé | | -------- | -------- | --------------- | | VRAM GPU | 8 Go | 16–24 Go | | GPU | RTX 3080 | RTX 4090 / A100 | | RAM | 16 Go | 32 Go | | Stockage | 20 Go | 50+ Go | {% hint style="info" %} AnimateDiff avec une séquence standard de 16 images en 512×512 consomme environ 8–10 Go de VRAM. Pour du 768×768 ou des séquences plus longues, 16+ Go sont recommandés. {% endhint %} *** ## Étape 1 — Louez un GPU sur Clore.ai 1. Aller à [clore.ai](https://clore.ai) et connectez-vous. 2. Cliquez **Place de marché** et filtrez par VRAM (≥ 16 Go pour de meilleurs résultats). 3. Sélectionnez un serveur — RTX 4090 ou A6000 offrent le meilleur rapport qualité/prix. 4. Sous **image Docker**, saisissez votre image personnalisée (voir l'étape 2 ci-dessous). 5. Configurer **ports ouverts**: `22` (SSH) et `8188` (interface web ComfyUI). 6. Cliquez **Louez** et attendez que l'instance démarre (\~1–2 minutes). {% hint style="info" %} Utilisez le **Avancé** configuration de port pour mapper le port `8188` à un port public. Notez le port public attribué — vous l'utiliserez pour accéder à l'interface web ComfyUI. {% endhint %} *** ## Étape 2 — Image Docker Il n'existe pas d'image Docker AnimateDiff officielle unique. L'approche recommandée est d'utiliser une **image basée sur ComfyUI** avec les nœuds AnimateDiff préinstallés. **Image publique recommandée :** ``` yanwk/comfyui-boot:latest ``` Ou construisez la vôtre : ```dockerfile FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-runtime RUN apt-get update && apt-get install -y \ git wget curl ffmpeg libgl1 libglib2.0-0 \ openssh-server && \ rm -rf /var/lib/apt/lists/* # Configurer SSH RUN mkdir /var/run/sshd && \ echo 'root:clore123' | chpasswd && \ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config # Cloner ComfyUI RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \ cd /workspace/ComfyUI && pip install -r requirements.txt # Installer ComfyUI Manager RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/ltdrdata/ComfyUI-Manager # Installer les nœuds AnimateDiff-Evolved RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \ pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt # Installer VideoHelperSuite pour la sortie RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \ pip install -r ComfyUI-VideoHelperSuite/requirements.txt EXPOSE 22 8188 CMD service ssh start && \ python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header ``` *** ## Étape 3 — Connectez-vous via SSH Une fois l'instance en cours d'exécution, connectez-vous via SSH pour télécharger les modèles : ```bash ssh root@ -p ``` Remplacez `` et `` avec les valeurs affichées dans votre tableau de bord Clore.ai. *** ## Étape 4 — Télécharger les modèles AnimateDiff nécessite au minimum un **checkpoint de base SD 1.5** et un **module de mouvement**. ### Télécharger le module de mouvement ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models # module de mouvement v3 (recommandé) wget -O v3_sd15_mm.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt" # module de mouvement v2 (compatibilité plus large) wget -O mm_sd_v15_v2.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt" ``` ### Télécharger un checkpoint de base SD 1.5 ```bash cd /workspace/ComfyUI/models/checkpoints # Realistic Vision (populaire pour AnimateDiff) wget -O realisticVisionV60B1_v51VAE.safetensors \ "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors" ``` {% hint style="info" %} Vous pouvez utiliser n'importe quel fine-tune SD 1.5. Les choix populaires incluent DreamShaper, Deliberate et Epicphotogasm. Téléchargez depuis CivitAI ou Hugging Face. {% endhint %} ### (Optionnel) Télécharger le module de mouvement SDXL ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models wget -O temporaldiff-v1-animatediff.safetensors \ "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors" ``` *** ## Étape 5 — Accéder à ComfyUI Ouvrez votre navigateur et rendez-vous sur : ``` http://: ``` Vous devriez voir l'interface de l'éditeur de nœuds ComfyUI. {% hint style="info" %} Ajoutez cette URL aux favoris. ComfyUI sauvegarde automatiquement votre workflow pendant que vous travaillez — pas besoin d'enregistrer manuellement sauf pour exporter en JSON. {% endhint %} *** ## Étape 6 — Charger un workflow AnimateDiff ### Workflow AnimateDiff de base (JSON) Dans ComfyUI, appuyez sur **Charger** et collez ou importez ce JSON de workflow, ou construisez-le manuellement avec ces nœuds : **Chaîne de nœuds principale :** 1. `Charger Checkpoint` → votre checkpoint SD 1.5 2. `CLIP Text Encode (Prompt)` → prompts positifs et négatifs 3. `AnimateDiff Loader` → sélectionnez votre module de mouvement 4. `KSampler (Efficient)` → paramètres d'échantillonnage 5. `VAE Decode` → décoder les latents 6. `Video Combine` (VideoHelperSuite) → exporter en GIF/MP4 ### Paramètres d'échantillonnage recommandés | Paramètre | Valeur | | -------------------- | --------------- | | Steps | 20–25 | | Échelle CFG | 7–8 | | Échantillonneur | DPM++ 2M Karras | | Largeur × Hauteur | 512 × 512 | | Images | 16 | | Longueur de contexte | 16 | *** ## Étape 7 — Lancez votre première animation 1. Dans le `CLIP Text Encode` nœud, saisissez votre prompt : ``` Un lion majestueux marchant dans une herbe haute au coucher du soleil, cinématique, 4k ``` 2. Dans le nœud de prompt négatif : ``` pire qualité, basse qualité, flou, watermark, déformé, nsfw ``` 3. Dans `AnimateDiff Loader`, sélectionnez `v3_sd15_mm.ckpt` 4. Cliquez **Mettre en file le prompt** {% hint style="info" %} Le temps de génération pour 16 images en 512×512 avec 20 étapes est d'environ **30–60 secondes** sur un RTX 4090. Les séquences plus longues et les résolutions plus élevées augmentent linéairement. {% endhint %} *** ## Techniques avancées ### Utiliser ControlNet avec AnimateDiff AnimateDiff fonctionne avec ControlNet pour la génération vidéo guidée : ```bash # Télécharger le modèle ControlNet cd /workspace/ComfyUI/models/controlnet wget -O control_v11p_sd15_openpose.pth \ "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth" ``` Ajouter un `Appliquer ControlNet` nœud entre `Charger le modèle ControlNet` et `KSampler`. Utilisez une image de squelette OpenPose comme entrée de conditionnement. ### Prompt Travel (Animation par images-clés) Le nœud AnimateDiff-Evolved prend en charge **prompt travel** — différents prompts texte à différentes images : ``` "Une forêt à l'aube" → image 0 "Une forêt à midi" → image 8 "Une forêt au coucher du soleil" → image 16 ``` Ceci crée des transitions fluides entre les scènes sans animation par images-clés manuelle. ### Utiliser LoRA avec AnimateDiff ```bash # Télécharger LoRA de mouvement cd /workspace/ComfyUI/models/loras wget -O v2_lora_PanLeft.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt" ``` Ajouter un `Chargeur LoRA` nœud pour appliquer des effets de mouvement de caméra : PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise. *** ## Formats de sortie AnimateDiff via VideoHelperSuite prend en charge : | Format | Nœud | Remarques | | ---------- | --------------------- | -------------------------------- | | GIF | `Video Combine` | Idéal pour le partage | | MP4 (h264) | `Video Combine` | Taille de fichier la plus petite | | WebP | `Video Combine` | Bon compromis qualité/taille | | Images PNG | `Enregistrer l’image` | Pour le post-traitement | *** ## Dépannage ### Mémoire insuffisante (CUDA OOM) ``` RuntimeError : CUDA out of memory ``` **Solutions :** * Réduire le nombre d'images (essayez 8 au lieu de 16) * Réduire la résolution (512×512 est le point idéal pour SD 1.5) * Activer `--lowvram` option dans la commande de démarrage de ComfyUI * Utilisez `fp16` précision dans `Charger Checkpoint` nœud ### Module de mouvement introuvable ``` Erreur : module de mouvement introuvable ``` **Solution :** Vérifiez le `.ckpt` fichier se trouve dans : ``` /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ ``` Actualisez la page ComfyUI pour recharger les modèles disponibles. ### Scintillement / images incohérentes **Solutions :** * Augmenter `context_length` pour correspondre au nombre total d'images * Utilisez `v3_sd15_mm.ckpt` au lieu de v2 (meilleure cohérence temporelle) * Réduire l'échelle CFG (essayez 7 au lieu de 9) * Utilisez un échantillonneur à variance plus faible : `DPM++ 2M Karras` ou `Euler a` ### Connexion SSH refusée ```bash ssh : connexion à l'hôte port : Connexion refusée ``` **Solution :** Attendez 1–2 minutes que le démon SSH démarre, ou vérifiez si le conteneur s'est entièrement initialisé via les logs du tableau de bord Clore.ai. *** ## Recommandations GPU Clore.ai AnimateDiff utilise une architecture SD 1.5 — les exigences en VRAM sont modestes comparées aux modèles vidéo modernes, ce qui le rend économique. | GPU | VRAM | Prix Clore.ai | 16 images @ 512px | Remarques | | -------------- | ----- | ------------- | ----------------- | --------------------------------------------------------------- | | RTX 3090 | 24 Go | \~0,12 $/h | \~50s | Meilleur rapport qualité/prix — exécutez plusieurs lots en file | | RTX 4090 | 24 Go | \~0,70 $/h | \~30s | GPU grand public le plus rapide | | A100 40GB | 40 Go | \~1,20 $/h | \~18s | Surdimensionné pour SD 1.5, mais bon pour SDXL+AnimateDiff | | RTX 3080 10 Go | 10 Go | \~$0.07/heure | \~90s | Minimum économique — limité à 512px, clips plus courts | {% hint style="info" %} **Le RTX 3090 est le point idéal pour AnimateDiff** à \~0,12 $/heure. Une animation de 16 images prend \~50 secondes, ce qui signifie que vous pouvez générer plus de 70 clips par dollar dépensé. Pour une création de contenu à grand volume, mettez en file les lots dans ComfyUI et lancez pendant la nuit. {% endhint %} **Utilisateurs SDXL AnimateDiff :** Les modules de mouvement SDXL nécessitent 12 Go+ de VRAM pour du 768px. Les RTX 3090/4090 gèrent cela bien. Le RTX 3080 (10 Go) est trop limité pour les workflows SDXL. *** ## Ressources utiles * [AnimateDiff GitHub](https://github.com/guoyww/AnimateDiff) * [ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved) * [ComfyUI Officiel](https://github.com/comfyanonymous/ComfyUI) * [Modèles de mouvement AnimateDiff (HuggingFace)](https://huggingface.co/guoyww/animatediff) * [CivitAI — Checkpoints SD](https://civitai.com) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-fr/generation-video/animatediff.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.