Génération vidéo CogVideoX
Générez des vidéos de 6 secondes à partir de texte ou d'images avec le transformeur de diffusion CogVideoX de Zhipu AI sur les GPU Clore.ai.
CogVideoX est une famille de transformateurs de diffusion vidéo à poids ouverts de Zhipu AI (Tsinghua). Les modèles génèrent des clips cohérents de 6 secondes en résolution 720×480 et à 8 i/s à partir soit d'une invite textuelle (T2V), soit d'une image de référence plus une invite (I2V). Deux échelles de paramètres sont disponibles — 2B pour une itération rapide et 5B pour une fidélité supérieure — toutes deux avec une prise en charge native diffusers intégration via CogVideoXPipeline.
Exécuter CogVideoX sur un GPU loué chez Clore.ai vous permet de contourner les contraintes matérielles locales et de générer des vidéos à grande échelle pour quelques centimes par clip.
Caractéristiques clés
Texte vers vidéo (T2V) — décrivez une scène et obtenez un clip de 6 secondes en 720×480 à 8 i/s (49 images).
Image vers vidéo (I2V) — fournissez une image de référence ainsi qu'une invite ; le modèle l'anime avec une cohérence temporelle.
Deux échelles — CogVideoX-2B (rapide, ~12 Go de VRAM) et CogVideoX-5B (qualité supérieure, ~20 Go de VRAM).
Prise en charge native de diffusers — de premier ordre
CogVideoXPipelineetCogVideoXImageToVideoPipelineclasses.VAE causal 3D — compresse 49 images dans un espace latent compact pour un débruitage efficace.
Poids ouverts — licence Apache-2.0 pour la variante 2B ; licence de recherche pour 5B.
Exigences
VRAM GPU
16 Go (2B, fp16)
24 Go (5B, bf16)
RAM système
32 Go
64 Go
Disque
30 Go
50 Go
Python
3.10+
3.11
CUDA
12.8+
12.8+
Recommandation de GPU Clore.ai : Un RTX 4090 (24 Go, 0,14–0,42 $/h) prend en charge confortablement les variantes 2B et 5B. Un RTX 3090 (24 Go, 0,07–0,21 $/h) fonctionne tout aussi bien pour 5B en bf16 et constitue l'option économique.
Démarrage rapide
Exemples d'utilisation
Texte vers vidéo (5B)
Image vers vidéo (5B)
Génération rapide avec la variante 2B
Conseils pour les utilisateurs de Clore.ai
Activer le tuilage du VAE — sans
pipe.vae.enable_tiling()le VAE 3D dépassera la mémoire sur des cartes de 24 Go pendant le décodage.Utilisez
enable_model_cpu_offload()— déplace automatiquement les modules inactifs vers la RAM ; ajoute environ 10 % au temps d'exécution, mais économise plus de 4 Go de VRAM au pic.bf16 pour 5B, fp16 pour 2B — le point de contrôle 5B a été entraîné en bf16 ; l'utilisation de fp16 peut provoquer des sorties NaN.
Persister les modèles — montez un volume persistant Clore.ai pour
/modelset définissezHF_HOME=/models/hfafin que les poids survivent aux redémarrages du conteneur.Traiter par lots pendant la nuit — mettez en file d'attente de longues listes d'invites avec une simple boucle Python ; la facturation Clore.ai se fait à l'heure, donc exploitez le GPU au maximum.
SSH + tmux — exécutez la génération dans
tmuxafin qu'une connexion perdue n'interrompe pas le processus.Choisissez le bon GPU — filtrez le marché Clore.ai pour des cartes avec ≥24 Go de VRAM ; triez par prix pour trouver la RTX 3090 / 4090 la moins chère disponible.
Dépannage
OutOfMemoryError pendant le décodage du VAE
Appelez pipe.vae.enable_tiling() avant l'inférence
NaN / images noires avec 5B
Passez à torch.bfloat16; fp16 n'est pas pris en charge pour la variante 5B
ImportError: imageio
pip install imageio[ffmpeg] — le plugin ffmpeg est nécessaire pour l'export MP4
Première exécution très lente
Le téléchargement du modèle fait environ 20 Go ; les exécutions suivantes utilisent les poids en cache
Incompatibilité de version CUDA
Assurez-vous que la version CUDA de PyTorch correspond au pilote : python -c "import torch; print(torch.version.cuda)"
Mouvement brouillé / scintillement
Augmentez num_inference_steps à 50 ; réduisez guidance_scale à 5,0
Conteneur arrêté en plein téléchargement
Définissez HF_HOME vers un volume persistant et redémarrez — les téléchargements partiels reprennent automatiquement
Mis à jour
Ce contenu vous a-t-il été utile ?