LivePortrait

Erstelle realistische animierte Porträts aus einzelnen Bildern auf Clore.ai

Erstelle realistische animierte Porträts aus einzelnen Bildern.

Alle Beispiele können auf GPU-Servern ausgeführt werden, die gemietet wurden über CLORE.AI-Marktplatz.

Alle Beispiele in diesem Leitfaden können auf GPU-Servern ausgeführt werden, die über CLORE.AI-Marktplatz Marktplatz gemietet werden.

Mieten auf CLORE.AI

1. Besuchen CLORE.AI-Marktplatz

2. Filtern nach GPU-Typ, VRAM und Preis

3. Wähle On-Demand (Festpreis) oder Spot (Gebotspreis)

4. Konfiguriere deine Bestellung:

   • Docker-Image auswählen

   • Ports festlegen (TCP für SSH, HTTP für Web-UIs)

   • Bei Bedarf Umgebungsvariablen hinzufügen

   • Startbefehl eingeben

5. Zahlung auswählen: CLORE, BTC, oder USDT/USDC

6. Bestellung erstellen und auf die Bereitstellung warten

Greife auf deinen Server zu

• Verbindungsdetails finden in Meine Bestellungen

• Web-Oberflächen: Verwende die HTTP-Port-URL

• SSH: ssh -p <port> root@<proxy-address>

Was ist LivePortrait?

LivePortrait von Kuaishou ermöglicht:

• Jedes Porträt mit einem Steuerungsvideo animieren

• Animation von einem einzelnen Foto zu Video

• Ausdrucks- und Posenübertragung

• Echtzeitfähige Inferenz

Ressourcen

• GitHub: KwaiVGI/LivePortrait

• Paper: LivePortrait-Paper

• HuggingFace: KwaiVGI/LivePortrait

• Demo: HuggingFace Space

Empfohlene Hardware

Komponente	Minimum	Empfohlen	Optimal
GPU	RTX 3070 8GB	RTX 4080 16 GB	RTX 4090 24GB
VRAM	8 GB	16 GB	24 GB
CPU	4 Kerne	8 Kerne	16 Kerne
RAM	16 GB	32 GB	64 GB
Speicher	30 GB SSD	50 GB NVMe	100 GB NVMe
Internet	100 Mbit/s	500 Mbit/s	1 Gbit/s

Schnellbereitstellung auf CLORE.AI

Docker-Image:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Ports:

22/tcp
7860/http

Befehl:

cd /workspace && \
git clone https://github.com/KwaiVGI/LivePortrait.git && \
cd LivePortrait && \
pip install -r requirements.txt && \
python app.py

Auf deinen Dienst zugreifen

Nach der Bereitstellung findest du deine http_pub URL in Meine Bestellungen:

1. Gehe zu Meine Bestellungen Seite

2. Klicke auf deine Bestellung

3. Finde die http_pub URL (z. B. abc123.clorecloud.net)

Verwende https://YOUR_HTTP_PUB_URL anstelle von localhost in den folgenden Beispielen.

Installation

git clone https://github.com/KwaiVGI/LivePortrait.git
cd LivePortrait
pip install -r requirements.txt

# Vorgetrainierte Modelle herunterladen
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights

Was du erstellen kannst

Virtuelle Avatare

• KI-Influencer und virtuelle Moderatoren

• Kundendienst-Avatare

• Lehrpräsentatoren

Content-Erstellung

• Social-Media-Inhalte

• Marketingmaterialien

• Musikvideokonzepte

Unterhaltung

• Historische Fotos animieren

• Charakteranimationen

• Interaktive Erlebnisse

Professionelle Anwendungen

• Avatare für Videokonferenzen

• Präsentationsassistenten

• Trainingssimulationen

Grundlegende Verwendung

Kommandozeile

python inference.py \
    --source_image path/to/portrait.jpg \
    --driving_video path/to/driving.mp4 \
    --output_path output.mp4

Python-API

from liveportrait import LivePortraitPipeline

# Pipeline initialisieren
pipeline = LivePortraitPipeline(
    device="cuda",
    model_path="./pretrained_weights"
)

# Porträt animieren
result = pipeline.animate(
    source_image="portrait.jpg",
    driving_video="driving.mp4"
)

result.save("animated_portrait.mp4")

Porträt mit Ausdruckssteuerung

from liveportrait import LivePortraitPipeline
import cv2

pipeline = LivePortraitPipeline(device="cuda")

# Bestimmte Gesichtsausdrücke steuern
expressions = {
    "smile": 0.8,
    "eyebrow_raise": 0.3,
    "head_pitch": -5,  # Grad
    "head_yaw": 10
}

result = pipeline.animate_with_expression(
    source_image="portrait.jpg",
    expressions=expressions,
    num_frames=60,
    fps=30
)

result.save("expression_controlled.mp4")

Batch-Verarbeitung

import os
from liveportrait import LivePortraitPipeline

pipeline = LivePortraitPipeline(device="cuda")

# Mehrere Porträts mit demselben Steuerungsvideo animieren
portraits = [
    "portrait1.jpg",
    "portrait2.jpg",
    "portrait3.jpg"
]

driving = "speech_driving.mp4"
output_dir = "./animated"
os.makedirs(output_dir, exist_ok=True)

for i, portrait in enumerate(portraits):
    print(f"Verarbeite {i+1}/{len(portraits)}: {portrait}")

    result = pipeline.animate(
        source_image=portrait,
        driving_video=driving
    )

    result.save(f"{output_dir}/animated_{i:03d}.mp4")

Gradio-Oberfläche

import gradio as gr
from liveportrait import LivePortraitPipeline
import tempfile

pipeline = LivePortraitPipeline(device="cuda")

def animate(source_image, driving_video):
    with tempfile.NamedTemporaryFile(suffix=".mp4", delete=False) as f:
        result = pipeline.animate(
            source_image=source_image,
            driving_video=driving_video
        )
        result.save(f.name)
        return f.name

demo = gr.Interface(
    fn=animate,
    inputs=[
        gr.Image(type="filepath", label="Porträtbild"),
        gr.Video(label="Steuervideo")
    ],
    outputs=gr.Video(label="Animiertes Porträt"),
    title="LivePortrait - Jedes Porträt animieren",
    description="Lade ein Porträt und ein Steuerungsvideo hoch, um ein animiertes Video zu erstellen. Läuft auf CLORE.AI-GPU-Servern."
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Echtzeit-Webcam-Animation

import cv2
from liveportrait import LivePortraitPipeline

pipeline = LivePortraitPipeline(device="cuda")

# Quellporträt laden
source = cv2.imread("portrait.jpg")
pipeline.set_source(source)

# Webcam öffnen
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Mit dem aktuellen Frame als Steuerung animieren
    animated = pipeline.animate_frame(frame)

    cv2.imshow("LivePortrait", animated)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Integration mit TTS

Erstelle sprechende Avatare mit Text-zu-Sprache:

from liveportrait import LivePortraitPipeline
from TTS.api import TTS

# Sprache erzeugen
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2")
tts.tts_to_file(
    text="Hello! Welcome to our presentation.",
    file_path="speech.wav",
    speaker_wav="reference_voice.wav",
    language="en"
)

# Lippensynchrones Steuerungsvideo aus Audio erzeugen

# (Mit einem separaten Tool für Lippensynchronisation oder einem vorgefertigten Steuerungsvideo)

# Porträt animieren
pipeline = LivePortraitPipeline(device="cuda")
result = pipeline.animate(
    source_image="presenter.jpg",
    driving_video="lip_sync_driving.mp4"
)
result.save("talking_avatar.mp4")

Leistung

Auflösung	GPU	FPS	Latenz
256x256	RTX 3070	30	33ms
256x256	RTX 4090	60+	16ms
512x512	RTX 4090	30	33ms
512x512	A100	45	22ms

Häufige Probleme & Lösungen

Gesicht nicht erkannt

Problem: "Kein Gesicht im Quellbild erkannt"

Lösungen:

• Stelle sicher, dass das Gesicht klar sichtbar und frontal ausgerichtet ist

• Verwende gute Beleuchtung im Quellbild

• Schneide das Bild zu, um den Fokus auf das Gesicht zu legen

• Minimale Gesichtsgröße: 128x128 Pixel

Bewegung passt nicht

Problem: Die Animation folgt dem Steuerungsvideo nicht

Lösungen:

• Verwende Steuerungsvideos mit deutlichen Gesichtsbewegungen

• Stelle sicher, dass das Steuerungsvideo eine ähnliche Gesichtsausrichtung hat

• Probiere verschiedene Steuerungsvideos aus

Qualitätsprobleme

Problem: Die Ausgabe sieht verschwommen oder verzerrt aus

Lösungen:

# Höhere Qualitätseinstellungen verwenden
result = pipeline.animate(
    source_image=source,
    driving_video=driving,
    output_size=512,  # Höhere Auflösung
    enhance_face=True  # Gesichtsverbesserung aktivieren
)

Echtzeit-Verzögerung

Problem: Die Webcam-Animation ruckelt

Lösungen:

• Verwende eine kleinere Ausgabeauflösung (256x256)

• TensorRT-Optimierung aktivieren

• Verwende eine RTX 4090 oder besser für Echtzeit

pipeline = LivePortraitPipeline(
    device="cuda",
    use_tensorrt=True  # TensorRT aktivieren
)

Audio-Synchronisierungsprobleme

Problem: Die Lippenbewegungen stimmen nicht mit dem Audio überein

Lösungen:

• Verwende die Audio-zu-Steuerungsvideo-Generierung

• Passe das Video-Timing in der Nachbearbeitung an

• Verwende Wav2Lip für eine bessere Lippensynchronisation

Fehlerbehebung

Gesicht nicht erkannt

• Stelle sicher, dass das Gesicht in der Quelle klar sichtbar ist

• Verwende frontal aufgenommene Fotos

• Prüfe die Bildauflösung (512+ empfohlen)

Die Animation wirkt unnatürlich

• Quelle und Steuerungsvideo sollten ähnliche Gesichtswinkel haben

• Vermeide extreme Gesichtsausdrücke im Steuerungsvideo

• Verwende kürzere Steuerungsclips

Ausgabevideo beschädigt

• ffmpeg installieren: apt install ffmpeg

• Prüfe die Kompatibilität des Ausgabeformats

• Stelle sicher, dass genügend Speicherplatz vorhanden ist

CUDA-Fehler

• Installiere eine kompatible PyTorch-Version

• Prüfe, ob die CUDA-Version den Anforderungen entspricht

Kostenschätzung

Übliche CLORE.AI-Marktplatzpreise (Stand 2024):

GPU	Stundensatz	Tagessatz	4-Stunden-Sitzung
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

Die Preise variieren je nach Anbieter und Nachfrage. Prüfen Sie CLORE.AI-Marktplatz für aktuelle Preise.

Geld sparen:

• Nutzen Sie den Spot Markt für unterbrechbare Arbeit — etwa ein Drittel der Server bietet Spot-Preise unter dem On-Demand-Preis (Median ca. 13 % Rabatt), der Rest ist gleichauf

• Bezahlen Sie mit CLORE Tokens

• Vergleichen Sie Preise zwischen verschiedenen Anbietern

Nächste Schritte

• SadTalker - Alternative für sprechende Köpfe

• Wav2Lip - Bessere Lippensynchronisation

• XTTS - Spracherzeugung