FramePack-Videogenerierung

Generiere KI-Videos mit nur 6 GB VRAM mithilfe von FramePack auf Clore.ai

FramePack ist ein Durchbruch in der KI-Videogenerierung: Es kann Videos mit einer Länge von bis zu 2 Minuten erstellen unter Verwendung von nur 6 GB VRAM. Auf der HunyuanVideo-Architektur aufgebaut, ist die zentrale Innovation von FramePack das effiziente Packen von Frames, sodass der GPU-Speicher unabhängig von der Videolänge konstant bleibt. Dadurch wird KI-Videogenerierung auf preisgünstigen GPUs zugänglich, die zuvor zu eingeschränkt waren.

Hauptfunktionen

• Mindestens 6 GB VRAM: Funktioniert auf RTX 3060, RTX 3070, sogar GTX 1060!

• Videos bis zu 2 Minuten: Konstanter VRAM-Verbrauch unabhängig von der Videolänge

• Bild-zu-Video: Beliebiges Bild mit einem Text-Prompt animieren

• Web-UI enthalten: Gradio-basierte Oberfläche für einfache Nutzung

• Basierend auf HunyuanVideo: Nutzt Tencents Video-Diffusionsarchitektur

• Open Source: GitHub mit aktiver Entwicklung

Anforderungen

Komponente	Minimum	Empfohlen
GPU	GTX 1060 6GB	RTX 4090 24GB
VRAM	6 GB	12 GB+
RAM	16 GB	32 GB
Festplatte	30GB	50GB
CUDA	12.8+	12.8+
Python	3.10+	3.11

Empfohlene Clore.ai-GPU: RTX 3080 10GB ($0.05–0.19/hr) — großartige Qualität zu geringen Kosten!

Geschwindigkeitsreferenz

GPU	Zeit pro Frame	60-Frame-Video (~2s bei 30fps)
RTX 3060 12 GB	~30 Sek.	~30 Min.
RTX 3080 10GB	~18 Sek.	~18 Min.
RTX 4080 16 GB	~12 Sek.	~12 Min.
RTX 4090 24GB	~8 Sek.	~8 Min.
RTX 5090 32 GB	~5 Sek.	~5 min

Installation

# Repository klonen
git clone https://github.com/lllyasviel/FramePack.git
cd FramePack

# conda-Umgebung erstellen (empfohlen)
conda create -n framepack python=3.11 -y
conda activate framepack

# Abhängigkeiten installieren
pip install -r requirements.txt

# PyTorch mit CUDA installieren
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

Docker-Setup

docker run --gpus all -p 7860:7860 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \\
  -v ./outputs:/app/outputs \
  ghcr.io/lllyasviel/framepack:latest

Schnellstart — Web-UI

Der einfachste Weg, FramePack zu verwenden:

cd FramePack
python app.py --port 7860

# Für wenig VRAM (6 GB):
python app.py --port 7860 --low-vram

# Aufruf unter http://localhost:7860

Web-UI-Workflow:

1. Lade ein Quellbild hoch (der erste Frame)

2. Gib einen Text-Prompt ein, der die Bewegung beschreibt ("die Kamera zoomt langsam hinein", "Person geht nach vorne")

3. Videolänge festlegen (Anzahl der Frames)

4. Auf Generieren klicken

5. MP4 herunterladen

Verwendung

FramePack ist eine Gradio-Webanwendung, keine Python-Bibliothek. Die primäre Oberfläche ist die Web-UI.

Web-UI-Workflow

1. Öffnen http://localhost:7860 nach dem Start

2. Lade ein Quellbild hoch (wird der erste Frame sein)

3. Gib einen Text-Prompt ein, der die gewünschte Bewegung beschreibt

4. Anzahl der Frames festlegen (mehr = längeres Video)

5. Klicken Sie auf Generieren → warten → MP4 herunterladen

API-Zugriff über den Gradio-Client

Du kannst FramePack programmatisch über die Gradio-API aufrufen:

from gradio_client import Client

# Mit einer laufenden FramePack-Instanz verbinden
client = Client("http://localhost:7860")

# Video aus Bild + Prompt erzeugen
result = client.predict(
    "input_photo.jpg",                              # Quellbild
    "the person smiles and turns their head slowly", # Prompt
    60,                                              # Anzahl der Frames
    7.5,                                             # Guidance-Scale
    30,                                              # Inferenzschritte
    42,                                              # Seed
    api_name="/generate"
)
print(f"Video saved to: {result}")

Stapelverarbeitung mit Gradio-Client

from gradio_client import Client
import glob

client = Client("http://localhost:7860")

prompts = [
    ("photo1.jpg", "sanfter Kamerazoom mit weicher Beleuchtung"),
    ("photo2.jpg", "Wind weht durch die Haare, Wolken bewegen sich"),
    ("photo3.jpg", "langsames Herauszoomen, das die gesamte Szene enthüllt"),
]

for img_path, prompt in prompts:
    result = client.predict(img_path, prompt, 60, 7.5, 30, -1, api_name="/generate")
    print(f"Fertig: {img_path} → {result}")

Auflösungsleitfaden

VRAM	Maximale Auflösung	Qualität
6 GB	512×512	Gut für soziale Medien
8 GB	640×640	Mehr Details
10 GB	512×768	Hochformat/Landschaftsformat
12 GB	768×768	Hohe Qualität
24 GB	1024×768	Beste Qualität

Tipps für Clore.ai-Nutzer

• Preisgünstig: Dies ist eines der wenigen KI-Videomodelle, das auf günstigen GPUs funktioniert ($0.03–0.07/hr für RTX 3060!)

• Verwende --low-vram Schalter: Unverzichtbar für 6–8-GB-GPUs — aktiviert automatisch CPU-Offloading

• 512×512 ist in Ordnung: Für soziale Medien (TikTok, Reels) sind 512 px völlig akzeptabel

• Länger ≠ mehr VRAM: Anders als andere Videomodelle hält FramePack den VRAM konstant — längere Videos frei erzeugen

• Modelle vorab herunterladen: Beim ersten Start werden ~15 GB heruntergeladen. Einmal ausführen, dann sind die Modelle in deiner Clore-Sitzung zwischengespeichert

• Mit Upscaling kombinieren: Bei 512×512 erzeugen und dann Real-ESRGAN verwenden, um auf 2K/4K hochzuskalieren

Prompt-Tipps

Gute Prompts beschreiben Bewegung, nicht nur das Aussehen:

✅ "die Kamera schwenkt langsam nach rechts und enthüllt eine Berglandschaft"
✅ "die Person blinzelt und lächelt sanft, Wind bewegt ihre Haare"
✅ "langsam herauszoomen und das gesamte Gebäude zeigen"

❌ "ein schöner Sonnenuntergang" (keine Bewegung beschrieben)
❌ "hohe Qualität, 4K, detailliert" (Stilwörter helfen nicht viel)

Fehlerbehebung

Problem	Lösung
CUDA-Speicher erschöpft	Verwende --low-vram Schalter, Auflösung auf 512×512 reduzieren
Sehr langsame Generierung	Normal für 6-GB-GPUs (~30 s/Frame). Verwende eine RTX 4090 für 4-fache Geschwindigkeit
Schwarze/beschädigte Frames	PyTorch aktualisieren: pip install torch --upgrade
Modelldownload hängt	Prüfe den Speicherplatz (benötigt 30 GB frei). Versuche HF_HUB_ENABLE_HF_TRANSFER=1
Die Web-UI startet nicht	Prüfe, ob Port 7860 frei ist: lsof -i :7860

Weiterführende Lektüre

• GitHub-Repository

• HunyuanVideo (Basismodell)

• GPU-Vergleich von Clore.ai — finde die günstigste GPU für deine Anforderungen