AnimateDiff

AnimateDiff एक प्लग-एंड-प्ले मॉड्यूल है जो आपके मौजूदा Stable Diffusion मॉडलों को एनिमेट करता है बिना किसी अतिरिक्त प्रशिक्षण के। 10,000 से अधिक GitHub स्टार्स के साथ, यह स्थिर-छवि SD चेकपॉइंट्स को स्मूद, समय-संगत वीडियो जनरेटर में बदलने के लिए सबसे पसंदीदा फ्रेमवर्क है। अधिकतम लचीलेपन के लिए इसे फ्रंट-एंड के रूप में ComfyUI का उपयोग करते हुए Clore.ai GPU इंस्टेंस पर चलाएँ।

AnimateDiff क्या है?

AnimateDiff एक मोशन मॉड्यूल को एक फ़्रीज़ किए गए Stable Diffusion U-Net में जोड़ता है। मोशन मॉड्यूल को वीडियो डेटा पर एक बार प्रशिक्षित किया जाता है और इसे किसी भी फाइन-ट्यून किए गए SD 1.5 चेकपॉइंट — DreamBooth मॉडल्स, LoRAs, ControlNet एडॉप्टर्स — के साथ बिना दोबारा प्रशिक्षण के जोड़ा जा सकता है। परिणाम छोटे एनिमेटेड क्लिप्स होते हैं (आमतौर पर 8 fps पर 16–32 फ्रेम) जो बेस मॉडल की शैली को बनाए रखते हैं।

मुख्य विशेषताएँ:

किसी भी SD 1.5 चेकपॉइंट के साथ सीधे काम करता है
ControlNet, IP-Adapter, LoRAs, और अन्य एक्सटेंशनों के साथ संगत
ComfyUI नोड इकोसिस्टम पूर्ण पाइपलाइन नियंत्रण प्रदान करता है
उच्च-रिज़ॉल्यूशन आउटपुट के लिए SDXL मोशन मॉड्यूल उपलब्ध हैं
समुदाय-प्रबंधित मॉडल ज़ू, डोमेन-विशिष्ट मोशन मॉड्यूल्स के साथ

पूर्वापेक्षाएँ

आवश्यकता

न्यूनतम

अनुशंसित

GPU VRAM

8 GB

16–24 GB

GPU

RTX 3080

RTX 4090 / A100

RAM

16 GB

32 GB

स्टोरेज

20 GB

50+ GB

512×512 पर मानक 16-फ्रेम अनुक्रम के साथ AnimateDiff लगभग 8–10 GB VRAM उपयोग करता है। 768×768 या लंबी अनुक्रमों के लिए 16+ GB की सिफारिश की जाती है।

चरण 1 — Clore.ai पर GPU किराए पर लें

पर जाएँ clore.ai और साइन इन करें।
क्लिक करें मार्केटप्लेस और VRAM के अनुसार फ़िल्टर करें (सर्वोत्तम परिणामों के लिए ≥ 16 GB).
एक सर्वर चुनें — RTX 4090 या A6000 सर्वोत्तम मूल्य/प्रदर्शन प्रदान करते हैं।
इसके अंतर्गत Docker इमेज, अपना कस्टम इमेज दर्ज करें (नीचे चरण 2 देखें).
कॉन्फ़िगर करें पोर्ट खोलें: 22 (SSH) और 8188 (ComfyUI वेब UI).
क्लिक करें किराए पर लें और इंस्टेंस के शुरू होने का इंतज़ार करें (~1–2 मिनट).

का उपयोग करें उन्नत पोर्ट मैप करने के लिए पोर्ट कॉन्फ़िगरेशन 8188 को एक सार्वजनिक पोर्ट पर। निर्दिष्ट सार्वजनिक पोर्ट नोट करें — आप इसका उपयोग ComfyUI वेब इंटरफ़ेस तक पहुँचने के लिए करेंगे।

चरण 2 — Docker इमेज

कोई एक आधिकारिक AnimateDiff Docker इमेज नहीं है। अनुशंसित तरीका है एक ComfyUI-आधारित इमेज का उपयोग करना है जिसमें AnimateDiff नोड्स पहले से इंस्टॉल हों।

अनुशंसित सार्वजनिक इमेज:

yanwk/comfyui-boot:latest

या अपनी खुद की बनाएँ:

FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

RUN apt-get update && apt-get install -y \\
    git wget curl ffmpeg libgl1 libglib2.0-0 \\
    openssh-server && \\
    rm -rf /var/lib/apt/lists/*

# SSH सेट अप करें
RUN mkdir /var/run/sshd && \\
    echo 'root:clore123' | chpasswd && \\
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# ComfyUI क्लोन करें
RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \\
    cd /workspace/ComfyUI && pip install -r requirements.txt

# ComfyUI Manager इंस्टॉल करें
RUN cd /workspace/ComfyUI/custom_nodes && \\
    git clone https://github.com/ltdrdata/ComfyUI-Manager

# AnimateDiff-Evolved नोड्स इंस्टॉल करें
RUN cd /workspace/ComfyUI/custom_nodes && \\
    git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \\
    pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt

# आउटपुट के लिए VideoHelperSuite इंस्टॉल करें
RUN cd /workspace/ComfyUI/custom_nodes && \\
    git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \\
    pip install -r ComfyUI-VideoHelperSuite/requirements.txt

EXPOSE 22 8188

CMD service ssh start && \\
    python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header

चरण 3 — SSH के माध्यम से कनेक्ट करें

एक बार इंस्टेंस चलने लगे, मॉडल डाउनलोड करने के लिए SSH के माध्यम से कनेक्ट करें:

ssh root@<clore-host> -p <assigned-ssh-port>

बदलें <clore-host> और <assigned-ssh-port> अपने Clore.ai डैशबोर्ड में दिखाए गए मानों के साथ।

चरण 4 — मॉडल डाउनलोड करें

AnimateDiff को न्यूनतम एक बेस SD 1.5 चेकपॉइंट और एक मोशन मॉड्यूल.

मोशन मॉड्यूल डाउनलोड करें

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

# v3 मोशन मॉड्यूल (अनुशंसित)
wget -O v3_sd15_mm.ckpt \\
  "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt"

# v2 मोशन मॉड्यूल (व्यापक संगतता)
wget -O mm_sd_v15_v2.ckpt \\
  "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt"

एक बेस SD 1.5 चेकपॉइंट डाउनलोड करें

cd /workspace/ComfyUI/models/checkpoints

# Realistic Vision (AnimateDiff के लिए लोकप्रिय)
wget -O realisticVisionV60B1_v51VAE.safetensors \\
  "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors"

आप किसी भी SD 1.5 फाइन-ट्यून का उपयोग कर सकते हैं। लोकप्रिय विकल्पों में DreamShaper, Deliberate, और Epicphotogasm शामिल हैं। CivitAI या Hugging Face से डाउनलोड करें।

(वैकल्पिक) SDXL मोशन मॉड्यूल डाउनलोड करें

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

wget -O temporaldiff-v1-animatediff.safetensors \\
  "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors"

चरण 5 — ComfyUI तक पहुँचें

अपना browser खोलें और यहाँ जाएँ:

http://<clore-host>:<public-port-8188>

आपको ComfyUI नोड एडिटर इंटरफ़ेस दिखाई देना चाहिए।

इस URL को बुकमार्क करें। काम करते समय ComfyUI आपका workflow स्वतः सहेजता है — JSON एक्सपोर्ट करने के अलावा मैन्युअल रूप से सहेजने की आवश्यकता नहीं है।

चरण 6 — एक AnimateDiff workflow लोड करें

बेसिक AnimateDiff workflow (JSON)

ComfyUI में, दबाएँ लोड करें और इस workflow JSON को पेस्ट या इम्पोर्ट करें, या इन नोड्स के साथ इसे मैन्युअल रूप से बनाएँ:

मुख्य नोड श्रृंखला:

Load Checkpoint → आपका SD 1.5 चेकपॉइंट
CLIP Text Encode (प्रॉम्प्ट) → सकारात्मक और नकारात्मक प्रॉम्प्ट
AnimateDiff Loader → अपना मोशन मॉड्यूल चुनें
KSampler (Efficient) → सैंपलिंग सेटिंग्स
VAE Decode → लैटेंट्स को डिकोड करें
Video Combine (VideoHelperSuite) → GIF/MP4 के रूप में एक्सपोर्ट करें

अनुशंसित सैंपलिंग सेटिंग्स

पैरामीटर

मान

स्टेप्स

20–25

CFG स्केल

7–8

सैंपलर

DPM++ 2M Karras

चौड़ाई × ऊँचाई

512 × 512

फ्रेम

संदर्भ लंबाई

चरण 7 — अपनी पहली एनिमेशन चलाएँ

में CLIP Text Encode नोड में, अपना प्रॉम्प्ट दर्ज करें:

सूर्यास्त के समय लंबी घास के बीच चलता हुआ एक भव्य शेर, सिनेमैटिक, 4k

नकारात्मक प्रॉम्प्ट नोड में:

सबसे खराब गुणवत्ता, कम गुणवत्ता, धुंधला, वॉटरमार्क, विकृत, nsfw

में AnimateDiff Loader, चुनें v3_sd15_mm.ckpt
क्लिक करें # बाहरी पहुँच के लिए, अपना http_pub URL उपयोग करें:

512×512 पर 20 steps के साथ 16 फ्रेम के लिए निर्माण समय लगभग 30–60 सेकंड RTX 4090 पर। लंबी सीक्वेंस और उच्च रिज़ॉल्यूशन रैखिक रूप से बढ़ते हैं।

उन्नत तकनीकें

AnimateDiff के साथ ControlNet का उपयोग

AnimateDiff निर्देशित वीडियो निर्माण के लिए ControlNet के साथ काम करता है:

# ControlNet मॉडल डाउनलोड करें
cd /workspace/ComfyUI/models/controlnet
wget -O control_v11p_sd15_openpose.pth \\
  "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth"

एक ControlNet Apply नोड जोड़ें Load ControlNet Model और KSamplerके बीच। कंडीशनिंग इनपुट के रूप में OpenPose कंकाल छवि का उपयोग करें।

प्रॉम्प्ट ट्रैवल (कीफ़्रेम एनिमेशन)

AnimateDiff-Evolved नोड सपोर्ट करता है प्रॉम्प्ट ट्रैवल — अलग-अलग फ्रेमों पर अलग-अलग टेक्स्ट प्रॉम्प्ट:

"एक जंगल भोर में" → फ्रेम 0
"एक जंगल दोपहर में" → फ्रेम 8
"एक जंगल सूर्यास्त में" → फ्रेम 16

यह मैन्युअल कीफ़्रेमिंग के बिना दृश्यों के बीच स्मूद ट्रांज़िशन बनाता है।

AnimateDiff के साथ LoRA का उपयोग

# मोशन LoRA डाउनलोड करें
cd /workspace/ComfyUI/models/loras
wget -O v2_lora_PanLeft.ckpt \\
  "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt"

एक LoRA Loader कैमरा मोशन प्रभाव लागू करने के लिए नोड: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise.

आउटपुट फ़ॉर्मेट

VideoHelperSuite के माध्यम से AnimateDiff निम्नलिखित का समर्थन करता है:

फ़ॉर्मेट

नोड

नोट्स

GIF

Video Combine

शेयर करने के लिए सर्वोत्तम

MP4 (h264)

Video Combine

सबसे छोटा फ़ाइल आकार

WebP

Video Combine

अच्छी गुणवत्ता/आकार

PNG फ्रेम

Save Image

पोस्ट-प्रोसेसिंग के लिए

समस्या निवारण

मेमोरी समाप्त (CUDA OOM)

RuntimeError: CUDA में मेमोरी समाप्त

समाधान:

फ्रेम संख्या कम करें (16 के बजाय 8 आज़माएँ)
रिज़ॉल्यूशन कम करें (SD 1.5 के लिए 512×512 सबसे उपयुक्त है)
सक्रिय करें --lowvram ComfyUI स्टार्टअप कमांड में फ़्लैग
उपयोग करें fp16 में प्रिसीज़न Load Checkpoint नोड

मोशन मॉड्यूल नहीं मिला

त्रुटि: मोशन मॉड्यूल नहीं मिला

समाधान: सत्यापित करें .ckpt फ़ाइल यहाँ है:

/workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

उपलब्ध मॉडलों को पुनः लोड करने के लिए ComfyUI पेज रिफ्रेश करें।

झिलमिलाते / असंगत फ्रेम

समाधान:

बढ़ाएँ context_length को कुल फ्रेम संख्या से मिलाने के लिए
उपयोग करें v3_sd15_mm.ckpt v2 के बजाय (बेहतर समयगत संगति)
CFG स्केल कम करें (9 के बजाय 7 आज़माएँ)
कम-वैरिएंस सैंपलर का उपयोग करें: DPM++ 2M Karras या Euler a

SSH कनेक्शन अस्वीकृत

ssh: connect to host <ip> port <port>: कनेक्शन अस्वीकृत

समाधान: SSH डेमॉन के शुरू होने के लिए 1–2 मिनट प्रतीक्षा करें, या Clore.ai डैशबोर्ड लॉग्स के माध्यम से जाँचें कि कंटेनर पूरी तरह आरंभ हुआ है या नहीं।

Clore.ai GPU अनुशंसाएँ

AnimateDiff SD 1.5 बैकबोन का उपयोग करता है — आधुनिक वीडियो मॉडल्स की तुलना में VRAM आवश्यकताएँ कम हैं, जिससे यह बजट-अनुकूल बनता है।

GPU

VRAM

Clore.ai मूल्य

16-फ्रेम @ 512px

नोट्स

RTX 3090

24 GB

$0.07–0.21/hr

~50s

सर्वोत्तम मूल्य — कई कतारबद्ध बैच चलाएँ

RTX 4090

24 GB

$0.14–0.42/hr

~30 सेकंड

सबसे तेज़ उपभोक्ता GPU

A100 40GB

40 GB

bare metal

~18s

SD 1.5 के लिए ज़रूरत से ज़्यादा, लेकिन SDXL+AnimateDiff के लिए अच्छा

RTX 3080 10GB

10 GB

$0.05–0.19/घंटा

~90s

सबसे कम बजट — 512px तक सीमित, छोटे क्लिप

RTX 3090 AnimateDiff का सर्वोत्तम संतुलन है $0.07–0.21/घंटा पर। 16-फ्रेम एनिमेशन में लगभग 50 सेकंड लगते हैं, यानी आप प्रति डॉलर 70+ क्लिप बना सकते हैं। उच्च-मात्रा कंटेंट निर्माण के लिए, ComfyUI में बैच कतार लगाएँ और रात भर चलाएँ।

SDXL AnimateDiff उपयोगकर्ता: SDXL मोशन मॉड्यूल्स को 768px के लिए 12GB+ VRAM की आवश्यकता होती है। RTX 3090/4090 इसे अच्छी तरह संभालते हैं। RTX 3080 (10GB) SDXL वर्कफ़्लो के लिए बहुत सीमित है।

उपयोगी संसाधन

पिछलाSkyReels-V3

अगलाMochi-1 वीडियो

अंतिम अपडेट 14 दिन पहले

क्या यह उपयोगी था?