FramePack वीडियो जनरेशन

Clore.ai पर FramePack का उपयोग करके केवल 6GB VRAM में AI वीडियो जनरेट करें

FramePack AI वीडियो निर्माण में एक बड़ी सफलता है: यह केवल उपयोग करके 2 मिनट तक लंबे वीडियो बना सकता है सिर्फ 6GB VRAM. HunyuanVideo आर्किटेक्चर पर बना, FramePack का मुख्य नवाचार फ्रेमों को इतनी कुशलता से पैक करना है कि वीडियो की लंबाई चाहे जो भी हो, GPU मेमोरी स्थिर रहती है। इससे सीमित बजट वाले GPUs पर भी AI वीडियो निर्माण सुलभ हो जाता है, जो पहले बहुत सीमित थे।

मुख्य विशेषताएँ

• न्यूनतम 6GB VRAM: RTX 3060, RTX 3070, यहाँ तक कि GTX 1060 पर भी काम करता है!

• 2 मिनट तक के वीडियो: वीडियो की लंबाई चाहे जो भी हो, VRAM का उपयोग स्थिर रहता है

• इमेज-टू-वीडियो: किसी भी छवि को टेक्स्ट प्रॉम्प्ट से एनिमेट करें

• वेब UI शामिल: आसान उपयोग के लिए Gradio-आधारित इंटरफ़ेस

• HunyuanVideo पर आधारित: Tencent के वीडियो डिफ्यूज़न आर्किटेक्चर का उपयोग करता है

• ओपन सोर्स: सक्रिय विकास वाला GitHub

आवश्यकताएँ

घटक	न्यूनतम	अनुशंसित
GPU	GTX 1060 6GB	RTX 4090 24GB
VRAM	6GB	12GB+
RAM	16GB	32GB
डिस्क	30GB	50GB
CUDA	12.8+	12.8+
Python	3.10+	3.11

अनुशंसित Clore.ai GPU: RTX 3080 10GB ($0.05–0.19/घंटा) — कम लागत में शानदार गुणवत्ता!

गति संदर्भ

GPU	प्रति फ्रेम समय	60-फ्रेम वीडियो (~30fps पर ~2 सेकंड)
RTX 3060 12GB	~30 सेकंड	~30 मिनट
RTX 3080 10GB	~18 सेकंड	~18 मिनट
RTX 4080 16GB	~12 सेकंड	~12 मिनट
RTX 4090 24GB	~8 सेकंड	~8 मिनट
RTX 5090 32GB	~5 सेकंड	~5 मिनट

इंस्टॉलेशन

# रिपॉजिटरी क्लोन करें
git clone https://github.com/lllyasviel/FramePack.git
cd FramePack

# conda environment बनाएं (अनुशंसित)
conda create -n framepack python=3.11 -y
conda activate framepack

# निर्भरताएँ इंस्टॉल करें
pip install -r requirements.txt

# PyTorch को CUDA के साथ इंस्टॉल करें
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

Docker सेटअप

docker run --gpus all -p 7860:7860 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  -v ./outputs:/app/outputs \
  ghcr.io/lllyasviel/framepack:latest

क्विक स्टार्ट — वेब UI

FramePack का उपयोग करने का सबसे आसान तरीका:

cd FramePack
python app.py --port 7860

# कम VRAM (6GB) के लिए:
python app.py --port 7860 --low-vram

# http://localhost:7860 पर पहुँचें

वेब UI वर्कफ़्लो:

1. एक स्रोत छवि अपलोड करें (पहला फ्रेम होगी)

2. गति का वर्णन करने वाला टेक्स्ट प्रॉम्प्ट दर्ज करें ("camera slowly zooms in", "person walks forward")

3. वीडियो की लंबाई सेट करें (फ्रेमों की संख्या)

4. Generate पर क्लिक करें

5. MP4 डाउनलोड करें

उपयोग

FramePack एक Gradio वेब एप्लिकेशन, Python लाइब्रेरी नहीं है। प्राथमिक इंटरफ़ेस वेब UI है।

वेब UI वर्कफ़्लो

1. खोलें http://localhost:7860 लॉन्च करने के बाद

2. एक स्रोत छवि अपलोड करें (यह पहला फ्रेम होगी)

3. वांछित गति का वर्णन करने वाला टेक्स्ट प्रॉम्प्ट दर्ज करें

4. फ्रेमों की संख्या सेट करें (अधिक = लंबा वीडियो)

5. क्लिक करें जनरेट करें → प्रतीक्षा करें → MP4 डाउनलोड करें

Gradio क्लाइंट के माध्यम से API एक्सेस

आप Gradio API का उपयोग करके प्रोग्रामेटिक रूप से FramePack को कॉल कर सकते हैं:

from gradio_client import Client

# चल रहे FramePack इंस्टेंस से कनेक्ट करें
client = Client("http://localhost:7860")

# छवि + प्रॉम्प्ट से वीडियो जनरेट करें
result = client.predict(
    "input_photo.jpg",                              # स्रोत छवि
    "the person smiles and turns their head slowly", # प्रॉम्प्ट
    60,                                              # फ़्रेमों की संख्या
    7.5,                                             # गाइडेंस स्केल
    30,                                              # इन्फरेंस स्टेप्स
    42,                                              # सीड
    api_name="/generate"
)
print(f"वीडियो यहाँ सहेजा गया: {result}")

Gradio क्लाइंट के साथ बैच प्रोसेसिंग

from gradio_client import Client
import glob

client = Client("http://localhost:7860")

prompts = [
    ("photo1.jpg", "हल्की रोशनी के साथ कोमल कैमरा ज़ूम"),
    ("photo2.jpg", "बालों में हवा, बादलों की गति"),
    ("photo3.jpg", "धीमा ज़ूम आउट जो पूरे दृश्य को दिखाता है"),
]

for img_path, prompt in prompts:
    result = client.predict(img_path, prompt, 60, 7.5, 30, -1, api_name="/generate")
    पूर्ण: {img_path} → {result}

रिज़ॉल्यूशन गाइड

VRAM	अधिकतम रिज़ॉल्यूशन	गुणवत्ता
6GB	512×512	सोशल मीडिया के लिए अच्छा
8GB	640×640	बेहतर विवरण
10GB	512×768	पोर्ट्रेट/लैंडस्केप
12GB	768×768	उच्च गुणवत्ता
24GB	1024×768	सर्वोत्तम गुणवत्ता

Clore.ai उपयोगकर्ताओं के लिए सुझाव

• बजट-अनुकूल: यह उन कुछ वीडियो AI मॉडलों में से एक है जो सस्ते GPUs पर काम करता है (RTX 3060 के लिए $0.03–0.07/घंटा!)

• उपयोग करें --low-vram फ़्लैग: 6–8GB GPUs के लिए आवश्यक — CPU ऑफ़लोडिंग को स्वचालित रूप से सक्षम करता है

• 512×512 ठीक है: सोशल मीडिया (TikTok, Reels) के लिए 512px पूरी तरह स्वीकार्य है

• लंबा ≠ अधिक VRAM: अन्य वीडियो मॉडलों के विपरीत, FramePack VRAM को स्थिर रखता है — बेझिझक लंबे वीडियो जनरेट करें

• मॉडल पहले से डाउनलोड करें: पहली रन में ~15GB डाउनलोड होता है। एक बार चलाएँ, फिर आपका Clore सेशन मॉडल्स को कैश्ड रखता है

• अपस्केलिंग के साथ संयोजित करें: 512×512 पर जनरेट करें, फिर 2K/4K तक अपस्केल करने के लिए Real-ESRGAN का उपयोग करें

प्रॉम्प्ट सुझाव

अच्छे प्रॉम्प्ट वर्णन करते हैं गति, केवल दिखावट नहीं:

✅ "कैमरा धीरे-धीरे दाईं ओर पैन करता है, जिससे एक पर्वतीय परिदृश्य दिखाई देता है"
✅ "व्यक्ति पलक झपकाता है और हल्के से मुस्कुराता है, हवा उनके बालों को हिलाती है"
✅ "धीरे-धीरे ज़ूम आउट करें, पूरा भवन दिखाते हुए"

❌ "एक सुंदर सूर्यास्त" (कोई गति वर्णित नहीं है)
❌ "उच्च गुणवत्ता, 4K, विस्तृत" (स्टाइल शब्द ज़्यादा मदद नहीं करते)

समस्या निवारण

समस्या	समाधान
CUDA out of memory	उपयोग करें --low-vram फ़्लैग, रिज़ॉल्यूशन को 512×512 तक घटाएँ
बहुत धीमी जनरेशन	6GB GPUs के लिए सामान्य (~30 सेकंड/फ्रेम)। 4x गति के लिए RTX 4090 का उपयोग करें
काले/भ्रष्ट फ्रेम	PyTorch अपडेट करें: pip install torch --upgrade
मॉडल डाउनलोड अटक जाता है	डिस्क स्पेस जाँचें (30GB खाली चाहिए)। प्रयास करें HF_HUB_ENABLE_HF_TRANSFER=1
वेब UI शुरू नहीं होता	जाँचें कि पोर्ट 7860 खाली है: lsof -i :7860

अधिक पढ़ें

• GitHub रिपॉज़िटरी

• HunyuanVideo (बेस मॉडल)

• Clore.ai GPU तुलना — अपनी ज़रूरतों के लिए सबसे सस्ता GPU खोजें