> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/video-generation/animatediff.md). # AnimateDiff AnimateDiff एक प्लग-एंड-प्ले मॉड्यूल है जो **आपके मौजूदा Stable Diffusion मॉडलों को एनिमेट करता है** बिना किसी अतिरिक्त प्रशिक्षण के। 10,000 से अधिक GitHub स्टार्स के साथ, यह स्थिर-छवि SD चेकपॉइंट्स को स्मूद, समय-संगत वीडियो जनरेटर में बदलने के लिए सबसे पसंदीदा फ्रेमवर्क है। अधिकतम लचीलेपन के लिए इसे फ्रंट-एंड के रूप में ComfyUI का उपयोग करते हुए Clore.ai GPU इंस्टेंस पर चलाएँ। *** ## AnimateDiff क्या है? AnimateDiff एक **मोशन मॉड्यूल** को एक फ़्रीज़ किए गए Stable Diffusion U-Net में जोड़ता है। मोशन मॉड्यूल को वीडियो डेटा पर एक बार प्रशिक्षित किया जाता है और इसे किसी भी फाइन-ट्यून किए गए SD 1.5 चेकपॉइंट — DreamBooth मॉडल्स, LoRAs, ControlNet एडॉप्टर्स — के साथ बिना दोबारा प्रशिक्षण के जोड़ा जा सकता है। परिणाम छोटे एनिमेटेड क्लिप्स होते हैं (आमतौर पर 8 fps पर 16–32 फ्रेम) जो बेस मॉडल की शैली को बनाए रखते हैं। **मुख्य विशेषताएँ:** * किसी भी SD 1.5 चेकपॉइंट के साथ सीधे काम करता है * ControlNet, IP-Adapter, LoRAs, और अन्य एक्सटेंशनों के साथ संगत * ComfyUI नोड इकोसिस्टम पूर्ण पाइपलाइन नियंत्रण प्रदान करता है * उच्च-रिज़ॉल्यूशन आउटपुट के लिए SDXL मोशन मॉड्यूल उपलब्ध हैं * समुदाय-प्रबंधित मॉडल ज़ू, डोमेन-विशिष्ट मोशन मॉड्यूल्स के साथ *** ## पूर्वापेक्षाएँ | आवश्यकता | न्यूनतम | अनुशंसित | | -------- | -------- | --------------- | | GPU VRAM | 8 GB | 16–24 GB | | GPU | RTX 3080 | RTX 4090 / A100 | | RAM | 16 GB | 32 GB | | स्टोरेज | 20 GB | 50+ GB | {% hint style="info" %} 512×512 पर मानक 16-फ्रेम अनुक्रम के साथ AnimateDiff लगभग 8–10 GB VRAM उपयोग करता है। 768×768 या लंबी अनुक्रमों के लिए 16+ GB की सिफारिश की जाती है। {% endhint %} *** ## चरण 1 — Clore.ai पर GPU किराए पर लें 1. पर जाएँ [clore.ai](https://clore.ai) और साइन इन करें। 2. क्लिक करें **मार्केटप्लेस** और VRAM के अनुसार फ़िल्टर करें (सर्वोत्तम परिणामों के लिए ≥ 16 GB). 3. एक सर्वर चुनें — RTX 4090 या A6000 सर्वोत्तम मूल्य/प्रदर्शन प्रदान करते हैं। 4. इसके अंतर्गत **Docker इमेज**, अपना कस्टम इमेज दर्ज करें (नीचे चरण 2 देखें). 5. कॉन्फ़िगर करें **पोर्ट खोलें**: `22` (SSH) और `8188` (ComfyUI वेब UI). 6. क्लिक करें **किराए पर लें** और इंस्टेंस के शुरू होने का इंतज़ार करें (\~1–2 मिनट). {% hint style="info" %} का उपयोग करें **उन्नत** पोर्ट मैप करने के लिए पोर्ट कॉन्फ़िगरेशन `8188` को एक सार्वजनिक पोर्ट पर। निर्दिष्ट सार्वजनिक पोर्ट नोट करें — आप इसका उपयोग ComfyUI वेब इंटरफ़ेस तक पहुँचने के लिए करेंगे। {% endhint %} *** ## चरण 2 — Docker इमेज कोई एक आधिकारिक AnimateDiff Docker इमेज नहीं है। अनुशंसित तरीका है एक **ComfyUI-आधारित इमेज** का उपयोग करना है जिसमें AnimateDiff नोड्स पहले से इंस्टॉल हों। **अनुशंसित सार्वजनिक इमेज:** ``` yanwk/comfyui-boot:latest ``` या अपनी खुद की बनाएँ: ```dockerfile FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime RUN apt-get update && apt-get install -y \\ git wget curl ffmpeg libgl1 libglib2.0-0 \\ openssh-server && \\ rm -rf /var/lib/apt/lists/* # SSH सेट अप करें RUN mkdir /var/run/sshd && \\ echo 'root:clore123' | chpasswd && \\ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config # ComfyUI क्लोन करें RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \\ cd /workspace/ComfyUI && pip install -r requirements.txt # ComfyUI Manager इंस्टॉल करें RUN cd /workspace/ComfyUI/custom_nodes && \\ git clone https://github.com/ltdrdata/ComfyUI-Manager # AnimateDiff-Evolved नोड्स इंस्टॉल करें RUN cd /workspace/ComfyUI/custom_nodes && \\ git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \\ pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt # आउटपुट के लिए VideoHelperSuite इंस्टॉल करें RUN cd /workspace/ComfyUI/custom_nodes && \\ git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \\ pip install -r ComfyUI-VideoHelperSuite/requirements.txt EXPOSE 22 8188 CMD service ssh start && \\ python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header ``` *** ## चरण 3 — SSH के माध्यम से कनेक्ट करें एक बार इंस्टेंस चलने लगे, मॉडल डाउनलोड करने के लिए SSH के माध्यम से कनेक्ट करें: ```bash ssh root@ -p ``` बदलें `` और `` अपने Clore.ai डैशबोर्ड में दिखाए गए मानों के साथ। *** ## चरण 4 — मॉडल डाउनलोड करें AnimateDiff को न्यूनतम एक **बेस SD 1.5 चेकपॉइंट** और एक **मोशन मॉड्यूल**. ### मोशन मॉड्यूल डाउनलोड करें ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models # v3 मोशन मॉड्यूल (अनुशंसित) wget -O v3_sd15_mm.ckpt \\ "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt" # v2 मोशन मॉड्यूल (व्यापक संगतता) wget -O mm_sd_v15_v2.ckpt \\ "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt" ``` ### एक बेस SD 1.5 चेकपॉइंट डाउनलोड करें ```bash cd /workspace/ComfyUI/models/checkpoints # Realistic Vision (AnimateDiff के लिए लोकप्रिय) wget -O realisticVisionV60B1_v51VAE.safetensors \\ "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors" ``` {% hint style="info" %} आप किसी भी SD 1.5 फाइन-ट्यून का उपयोग कर सकते हैं। लोकप्रिय विकल्पों में DreamShaper, Deliberate, और Epicphotogasm शामिल हैं। CivitAI या Hugging Face से डाउनलोड करें। {% endhint %} ### (वैकल्पिक) SDXL मोशन मॉड्यूल डाउनलोड करें ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models wget -O temporaldiff-v1-animatediff.safetensors \\ "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors" ``` *** ## चरण 5 — ComfyUI तक पहुँचें अपना browser खोलें और यहाँ जाएँ: ``` http://: ``` आपको ComfyUI नोड एडिटर इंटरफ़ेस दिखाई देना चाहिए। {% hint style="info" %} इस URL को बुकमार्क करें। काम करते समय ComfyUI आपका workflow स्वतः सहेजता है — JSON एक्सपोर्ट करने के अलावा मैन्युअल रूप से सहेजने की आवश्यकता नहीं है। {% endhint %} *** ## चरण 6 — एक AnimateDiff workflow लोड करें ### बेसिक AnimateDiff workflow (JSON) ComfyUI में, दबाएँ **लोड करें** और इस workflow JSON को पेस्ट या इम्पोर्ट करें, या इन नोड्स के साथ इसे मैन्युअल रूप से बनाएँ: **मुख्य नोड श्रृंखला:** 1. `Load Checkpoint` → आपका SD 1.5 चेकपॉइंट 2. `CLIP Text Encode (प्रॉम्प्ट)` → सकारात्मक और नकारात्मक प्रॉम्प्ट 3. `AnimateDiff Loader` → अपना मोशन मॉड्यूल चुनें 4. `KSampler (Efficient)` → सैंपलिंग सेटिंग्स 5. `VAE Decode` → लैटेंट्स को डिकोड करें 6. `Video Combine` (VideoHelperSuite) → GIF/MP4 के रूप में एक्सपोर्ट करें ### अनुशंसित सैंपलिंग सेटिंग्स | पैरामीटर | मान | | -------------- | --------------- | | स्टेप्स | 20–25 | | CFG स्केल | 7–8 | | सैंपलर | DPM++ 2M Karras | | चौड़ाई × ऊँचाई | 512 × 512 | | फ्रेम | 16 | | संदर्भ लंबाई | 16 | *** ## चरण 7 — अपनी पहली एनिमेशन चलाएँ 1. में `CLIP Text Encode` नोड में, अपना प्रॉम्प्ट दर्ज करें: ``` सूर्यास्त के समय लंबी घास के बीच चलता हुआ एक भव्य शेर, सिनेमैटिक, 4k ``` 2. नकारात्मक प्रॉम्प्ट नोड में: ``` सबसे खराब गुणवत्ता, कम गुणवत्ता, धुंधला, वॉटरमार्क, विकृत, nsfw ``` 3. में `AnimateDiff Loader`, चुनें `v3_sd15_mm.ckpt` 4. क्लिक करें **# बाहरी पहुँच के लिए, अपना http\_pub URL उपयोग करें:** {% hint style="info" %} 512×512 पर 20 steps के साथ 16 फ्रेम के लिए निर्माण समय लगभग **30–60 सेकंड** RTX 4090 पर। लंबी सीक्वेंस और उच्च रिज़ॉल्यूशन रैखिक रूप से बढ़ते हैं। {% endhint %} *** ## उन्नत तकनीकें ### AnimateDiff के साथ ControlNet का उपयोग AnimateDiff निर्देशित वीडियो निर्माण के लिए ControlNet के साथ काम करता है: ```bash # ControlNet मॉडल डाउनलोड करें cd /workspace/ComfyUI/models/controlnet wget -O control_v11p_sd15_openpose.pth \\ "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth" ``` एक `ControlNet Apply` नोड जोड़ें `Load ControlNet Model` और `KSampler`के बीच। कंडीशनिंग इनपुट के रूप में OpenPose कंकाल छवि का उपयोग करें। ### प्रॉम्प्ट ट्रैवल (कीफ़्रेम एनिमेशन) AnimateDiff-Evolved नोड सपोर्ट करता है **प्रॉम्प्ट ट्रैवल** — अलग-अलग फ्रेमों पर अलग-अलग टेक्स्ट प्रॉम्प्ट: ``` "एक जंगल भोर में" → फ्रेम 0 "एक जंगल दोपहर में" → फ्रेम 8 "एक जंगल सूर्यास्त में" → फ्रेम 16 ``` यह मैन्युअल कीफ़्रेमिंग के बिना दृश्यों के बीच स्मूद ट्रांज़िशन बनाता है। ### AnimateDiff के साथ LoRA का उपयोग ```bash # मोशन LoRA डाउनलोड करें cd /workspace/ComfyUI/models/loras wget -O v2_lora_PanLeft.ckpt \\ "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt" ``` एक `LoRA Loader` कैमरा मोशन प्रभाव लागू करने के लिए नोड: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise. *** ## आउटपुट फ़ॉर्मेट VideoHelperSuite के माध्यम से AnimateDiff निम्नलिखित का समर्थन करता है: | फ़ॉर्मेट | नोड | नोट्स | | ---------- | --------------- | -------------------------- | | GIF | `Video Combine` | शेयर करने के लिए सर्वोत्तम | | MP4 (h264) | `Video Combine` | सबसे छोटा फ़ाइल आकार | | WebP | `Video Combine` | अच्छी गुणवत्ता/आकार | | PNG फ्रेम | `Save Image` | पोस्ट-प्रोसेसिंग के लिए | *** ## समस्या निवारण ### मेमोरी समाप्त (CUDA OOM) ``` RuntimeError: CUDA में मेमोरी समाप्त ``` **समाधान:** * फ्रेम संख्या कम करें (16 के बजाय 8 आज़माएँ) * रिज़ॉल्यूशन कम करें (SD 1.5 के लिए 512×512 सबसे उपयुक्त है) * सक्रिय करें `--lowvram` ComfyUI स्टार्टअप कमांड में फ़्लैग * उपयोग करें `fp16` में प्रिसीज़न `Load Checkpoint` नोड ### मोशन मॉड्यूल नहीं मिला ``` त्रुटि: मोशन मॉड्यूल नहीं मिला ``` **समाधान:** सत्यापित करें `.ckpt` फ़ाइल यहाँ है: ``` /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ ``` उपलब्ध मॉडलों को पुनः लोड करने के लिए ComfyUI पेज रिफ्रेश करें। ### झिलमिलाते / असंगत फ्रेम **समाधान:** * बढ़ाएँ `context_length` को कुल फ्रेम संख्या से मिलाने के लिए * उपयोग करें `v3_sd15_mm.ckpt` v2 के बजाय (बेहतर समयगत संगति) * CFG स्केल कम करें (9 के बजाय 7 आज़माएँ) * कम-वैरिएंस सैंपलर का उपयोग करें: `DPM++ 2M Karras` या `Euler a` ### SSH कनेक्शन अस्वीकृत ```bash ssh: connect to host port : कनेक्शन अस्वीकृत ``` **समाधान:** SSH डेमॉन के शुरू होने के लिए 1–2 मिनट प्रतीक्षा करें, या Clore.ai डैशबोर्ड लॉग्स के माध्यम से जाँचें कि कंटेनर पूरी तरह आरंभ हुआ है या नहीं। *** ## Clore.ai GPU अनुशंसाएँ AnimateDiff SD 1.5 बैकबोन का उपयोग करता है — आधुनिक वीडियो मॉडल्स की तुलना में VRAM आवश्यकताएँ कम हैं, जिससे यह बजट-अनुकूल बनता है। | GPU | VRAM | Clore.ai मूल्य | 16-फ्रेम @ 512px | नोट्स | | ------------- | ----- | ----------------------------------------- | ---------------- | -------------------------------------------------------------------- | | RTX 3090 | 24 GB | $0.07–0.21/hr | \~50s | सर्वोत्तम मूल्य — कई कतारबद्ध बैच चलाएँ | | RTX 4090 | 24 GB | $0.14–0.42/hr | \~30 सेकंड | सबसे तेज़ उपभोक्ता GPU | | A100 40GB | 40 GB | [bare metal](https://clore.ai/bare-metal) | \~18s | SD 1.5 के लिए ज़रूरत से ज़्यादा, लेकिन SDXL+AnimateDiff के लिए अच्छा | | RTX 3080 10GB | 10 GB | $0.05–0.19/घंटा | \~90s | सबसे कम बजट — 512px तक सीमित, छोटे क्लिप | {% hint style="info" %} **RTX 3090 AnimateDiff का सर्वोत्तम संतुलन है** $0.07–0.21/घंटा पर। 16-फ्रेम एनिमेशन में लगभग 50 सेकंड लगते हैं, यानी आप प्रति डॉलर 70+ क्लिप बना सकते हैं। उच्च-मात्रा कंटेंट निर्माण के लिए, ComfyUI में बैच कतार लगाएँ और रात भर चलाएँ। {% endhint %} **SDXL AnimateDiff उपयोगकर्ता:** SDXL मोशन मॉड्यूल्स को 768px के लिए 12GB+ VRAM की आवश्यकता होती है। RTX 3090/4090 इसे अच्छी तरह संभालते हैं। RTX 3080 (10GB) SDXL वर्कफ़्लो के लिए बहुत सीमित है। *** ## उपयोगी संसाधन * [AnimateDiff GitHub](https://github.com/guoyww/AnimateDiff) * [ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved) * [ComfyUI आधिकारिक](https://github.com/comfyanonymous/ComfyUI) * [AnimateDiff मोशन मॉडल्स (HuggingFace)](https://huggingface.co/guoyww/animatediff) * [CivitAI — SD चेकपॉइंट्स](https://civitai.com) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-hi/video-generation/animatediff.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.