स्टेबल वीडियो डिफ्यूज़न

Clore.ai पर Stable Video Diffusion के साथ छवियों से वीडियो जनरेट करें

नई विकल्प उपलब्ध हैं! विचार करें FramePack (सिर्फ 6GB VRAM!), Wan2.1 (उच्च गुणवत्ता), या LTX-2 (मूल ऑडियो वाला वीडियो).

Stability AI के SVD मॉडल का उपयोग करके छवियों से वीडियो बनाएं।

सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं, जिन्हें किराए पर लिया गया है CLORE.AI मार्केटप्लेस.

स्टेबल वीडियो डिफ्यूजन क्या है?

SVD (स्टेबल वीडियो डिफ्यूजन) एक ही छवि से छोटे वीडियो क्लिप बनाता है:

• 14 या 25 फ़्रेम आउटपुट

• 576x1024 रिज़ॉल्यूशन

• सुगम गति निर्माण

• ओपन-सोर्स वेट्स

संसाधन

• HuggingFace: stabilityai/stable-video-diffusion-img2vid-xt

• GitHub: Stability-AI/generative-models

• पेपर: SVD पेपर

हार्डवेयर आवश्यकताएँ

मॉडल	VRAM	अनुशंसित GPU
SVD (14 फ़्रेम)	16GB	RTX 4090
SVD-XT (25 फ़्रेम)	24GB	RTX 4090 / A100

त्वरित डिप्लॉय

Docker इमेज:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

पोर्ट:

22/tcp
7860/http

कमांड:

pip install diffusers transformers accelerate && \\
pip install gradio && \\
python -c "
import gradio as gr
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import export_to_video
import torch

pipe = StableVideoDiffusionPipeline.from_pretrained(
    'stabilityai/stable-video-diffusion-img2vid-xt',
    torch_dtype=torch.float16,
    variant='fp16'
).to('cuda')

def generate(image, seed, fps):
    generator = torch.manual_seed(seed)
    frames = pipe(image, num_frames=25, generator=generator).frames[0]
    export_to_video(frames, 'output.mp4', fps=fps)
    return 'output.mp4'

gr.Interface(
    fn=generate,
    inputs=[gr.Image(type='pil'), gr.Number(value=42, label='सीड'), gr.Slider(6, 30, value=7, label='FPS')],
    outputs=gr.Video(),
    title='स्टेबल वीडियो डिफ्यूजन'
).launch(server_name='0.0.0.0', server_port=7860)
"

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना http_pub URL यहाँ मेरे ऑर्डर:

1. पर जाएँ मेरे ऑर्डर पेज

2. अपने ऑर्डर पर क्लिक करें

3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए गए उदाहरणों में।

इंस्टॉलेशन

pip install diffusers transformers accelerate torch

# वीडियो निर्यात के लिए
pip install imageio[ffmpeg]

मूल उपयोग

import torch
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

# पाइपलाइन लोड करें
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16,
    variant="fp16"
)
pipe.to("cuda")

# इमेज लोड करें और उसका आकार बदलें
image = load_image("input.jpg")
image = image.resize((1024, 576))

# वीडियो जनरेट करें
generator = torch.manual_seed(42)
frames = pipe(image, num_frames=25, generator=generator).frames[0]

# वीडियो सहेजें
export_to_video(frames, "output.mp4", fps=7)

SVD बनाम SVD-XT

विशेषता	SVD	SVD-XT
फ़्रेम	14	25
अवधि	~2 सेकंड	~3.5 सेकंड
VRAM	16GB	24GB
गुणवत्ता	अच्छा	बेहतर

मेमोरी अनुकूलन

# मेमोरी-कुशल अटेंशन सक्षम करें
pipe.enable_model_cpu_offload()

# या अटेंशन स्लाइसिंग का उपयोग करें
pipe.enable_attention_slicing()

# बहुत कम VRAM के लिए
pipe.enable_sequential_cpu_offload()

बैच प्रोसेसिंग

import os
from pathlib import Path

input_dir = Path("./images")
output_dir = Path("./videos")
output_dir.mkdir(exist_ok=True)

for img_path in input_dir.glob("*.jpg"):
    image = load_image(str(img_path)).resize((1024, 576))
    frames = pipe(image, num_frames=25).frames[0]
    export_to_video(frames, str(output_dir / f"{img_path.stem}.mp4"), fps=7)
    print(f"जनरेट किया गया: {img_path.stem}.mp4")

ComfyUI एकीकरण

ComfyUI में SVD शानदार काम करता है:

1. ComfyUI इंस्टॉल करें

2. SVD मॉडल को यहाँ डाउनलोड करें models/checkpoints/

3. img2vid वर्कफ़्लो के लिए SVD नोड्स का उपयोग करें

समस्या निवारण

मेमोरी समाप्त

• उपयोग करें enable_model_cpu_offload()

• कम करें num_frames को 14

• fp16 वैरिएंट का उपयोग करें

वीडियो बहुत छोटा है

• SVD (14 फ़्रेम) के बजाय SVD-XT (25 फ़्रेम) का उपयोग करें

• अधिक स्मूथ परिणाम के लिए RIFE से इंटरपोलेट करें

गति की गुणवत्ता खराब

• उच्च-गुणवत्ता वाली इनपुट छवियों का उपयोग करें

• सुनिश्चित करें कि छवि 1024x576 (या 576x1024) है

• अलग-अलग सीड्स आज़माएँ

CUDA त्रुटियां

• PyTorch और diffusers अपडेट करें

• CUDA संस्करण संगतता जाँचें

लागत का अनुमान

CLORE.AI मार्केटप्लेस की सामान्य दरें (2024 तक):

GPU	प्रति घंटा दर	प्रति दिन दर	4-घंटे का सत्र
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

मूल्य प्रदाता के अनुसार बदलते हैं। देखें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।

अगले चरण

• AnimateDiff - SD छवियों को एनिमेट करें

• RIFE इंटरपोलेशन - FPS बढ़ाएँ

• Hunyuan Video - टेक्स्ट-टू-वीडियो