CogVideoX-Videogenerierung

Generiere 6-Sekunden-Videos aus Text oder Bildern mit Zhipu AIs CogVideoX-Diffusion-Transformer auf Clore.ai-GPUs.

CogVideoX ist eine Familie von Open-Weight-Video-Diffusion-Transformern von Zhipu AI (Tsinghua). Die Modelle erzeugen kohärente 6-Sekunden-Clips in 720×480-Auflösung und mit 8 fps entweder aus einem Textprompt (T2V) oder aus einem Referenzbild plus Prompt (I2V). Zwei Parameterstufen sind verfügbar — 2B für schnelle Iteration und 5B für höhere Wiedergabetreue — beide mit nativer diffusers Integration über CogVideoXPipeline.

CogVideoX auf einer gemieteten GPU von Clore.ai zu betreiben, können Sie lokale Hardware-Einschränkungen umgehen und Videos in großem Maßstab für ein paar Cent pro Clip erzeugen.

Hauptfunktionen

• Text-zu-Video (T2V) — beschreiben Sie eine Szene und erhalten Sie einen 6-Sekunden-Clip in 720×480 bei 8 fps (49 Frames).

• Bild-zu-Video (I2V) — geben Sie ein Referenzbild plus Prompt an; das Modell animiert es mit zeitlicher Konsistenz.

• Zwei Größen — CogVideoX-2B (schnell, ~12 GB VRAM) und CogVideoX-5B (höhere Qualität, ~20 GB VRAM).

• Native Diffusers-Unterstützung — erstklassige CogVideoXPipeline und CogVideoXImageToVideoPipeline Klassen.

• 3D-kausaler VAE — komprimiert 49 Frames in einen kompakten latenten Raum für effizientes Entrauschen.

• Offene Gewichte — Apache-2.0-Lizenz für die 2B-Variante; Forschungslizenz für 5B.

Anforderungen

Komponente	Minimum	Empfohlen
GPU-VRAM	16 GB (2B, fp16)	24 GB (5B, bf16)
System-RAM	32 GB	64 GB
Festplatte	30 GB	50 GB
Python	3.10+	3.11
CUDA	12.8+	12.8+

Clore.ai-GPU-Empfehlung: Ein RTX 4090 (24 GB, $0.14–0.42/Stunde) bewältigt sowohl die 2B- als auch die 5B-Variante problemlos. Ein RTX 3090 (24 GB, $0.07–0.21/Stunde) funktioniert für 5B in bf16 genauso gut und ist die Budget-Option.

Schnellstart

# Umgebung erstellen
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install diffusers transformers accelerate sentencepiece imageio[ffmpeg]

# GPU überprüfen
python -c "import torch; print(torch.cuda.get_device_name(0))"

Anwendungsbeispiele

Text-zu-Video (5B)

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()      # spart ~4 GB Spitzen-VRAM
pipe.vae.enable_tiling()             # erforderlich für 720x480 auf 24-GB-Karten

prompt = (
    "Ein Golden Retriever, der bei Sonnenuntergang durch ein Sonnenblumenfeld rennt, "
    "kinetische Beleuchtung, Zeitlupe, 4K-Qualität"
)

video_frames = pipe(
    prompt=prompt,
    num_frames=49,
    guidance_scale=6.0,
    num_inference_steps=50,
    generator=torch.Generator("cuda").manual_seed(42),
).frames[0]

export_to_video(video_frames, "retriever_sunset.mp4", fps=8)
print("retriever_sunset.mp4 gespeichert")

Bild-zu-Video (5B)

import torch
from PIL import Image
from diffusers import CogVideoXImageToVideoPipeline
from diffusers.utils import export_to_video

pipe = CogVideoXImageToVideoPipeline.from_pretrained(
    "THUDM/CogVideoX-5b-I2V",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

image = Image.open("reference.png").resize((720, 480))

video_frames = pipe(
    prompt="Die Kamera kreist langsam um das Motiv, sanfter Wind",
    image=image,
    num_frames=49,
    guidance_scale=6.0,
    num_inference_steps=50,
).frames[0]

export_to_video(video_frames, "animated.mp4", fps=8)

Schnelle Generierung mit der 2B-Variante

from diffusers import CogVideoXPipeline
import torch

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
    torch_dtype=torch.float16,
)
pipe.to("cuda")
pipe.vae.enable_tiling()

frames = pipe(
    prompt="Zeitraffer eines blühenden Kirschblütenbaums",
    num_frames=49,
    guidance_scale=6.0,
    num_inference_steps=30,       # weniger Schritte → schneller
).frames[0]

Tipps für Clore.ai-Nutzer

1. VAE-Tiling aktivieren — ohne pipe.vae.enable_tiling() wird der 3D-VAE beim Dekodieren auf 24-GB-Karten OOM verursachen.

2. Verwende enable_model_cpu_offload() — verschiebt inaktive Module automatisch in den RAM; erhöht die Laufzeit um ca. 10 %, spart aber über 4 GB Spitzen-VRAM.

3. bf16 für 5B, fp16 für 2B — der 5B-Checkpoint wurde in bf16 trainiert; die Verwendung von fp16 kann NaN-Ausgaben verursachen.

4. Modelle persistent speichern — ein dauerhaftes Clore.ai-Volume einhängen an /models und setzen Sie HF_HOME=/models/hf damit die Gewichte Container-Neustarts überstehen.

5. Über Nacht im Batch ausführen — lange Prompt-Listen mit einer einfachen Python-Schleife in die Warteschlange stellen; die Abrechnung bei Clore.ai erfolgt stundenweise, also die GPU auslasten.

6. SSH + tmux — führen Sie die Generierung in tmux aus, damit eine unterbrochene Verbindung den Prozess nicht beendet.

7. Die richtige GPU auswählen — filtern Sie den Clore.ai-Marktplatz nach Karten mit ≥24 GB VRAM; sortieren Sie nach Preis, um die günstigste verfügbare RTX 3090 / 4090 zu finden.

Fehlerbehebung

Problem	Fix
OutOfMemoryError während der VAE-Dekodierung	Rufen Sie pipe.vae.enable_tiling() vor der Inferenz auf
NaN- / schwarze Frames mit 5B	Wechseln Sie zu torch.bfloat16; fp16 wird für die 5B-Variante nicht unterstützt
ImportError: imageio	pip install imageio[ffmpeg] — das ffmpeg-Plugin wird für den MP4-Export benötigt
Beim ersten Lauf sehr langsam	Der Modell-Download umfasst ~20 GB; nachfolgende Läufe verwenden die zwischengespeicherten Gewichte
CUDA-Version stimmt nicht überein	Stellen Sie sicher, dass die PyTorch-CUDA-Version zum Treiber passt: python -c "import torch; print(torch.version.cuda)"
Verwaschene Bewegung / Flimmern	Erhöhen Sie num_inference_steps auf 50; senken guidance_scale auf 5,0
Container mitten im Download beendet	Setze HF_HOME auf ein dauerhaftes Volume setzen und neu starten — unvollständige Downloads werden automatisch fortgesetzt