LivePortrait

在 Clore.ai 上从单张图像创建逼真的动画肖像

从单张图像生成逼真的动画肖像。

所有示例都可以在通过以下方式租用的 GPU 服务器上运行 CLORE.AI 市场.

本指南中的所有示例都可以在通过以下方式租用的 GPU 服务器上运行 CLORE.AI 市场 市场。

在 CLORE.AI 上租用

1. 访问 CLORE.AI 市场

2. 按 GPU 类型、VRAM 和价格筛选

3. 选择 按需 （固定费率）或 竞价 （出价）

4. 配置你的订单：

   • 选择 Docker 镜像

   • 设置端口（SSH 用 TCP，Web UI 用 HTTP）

   • 如有需要，添加环境变量

   • 输入启动命令

5. 选择支付方式： CLORE, BTC，或 USDT/USDC

6. 创建订单并等待部署

访问你的服务器

• 在以下位置查找连接信息 我的订单

• Web 界面：使用 HTTP 端口 URL

• SSH： ssh -p <port> root@<proxy-address>

什么是 LivePortrait？

快手的 LivePortrait 支持：

• 使用驱动视频为任意肖像生成动画

• 单张照片转视频动画

• 表情与姿态迁移

• 支持实时推理

资源

• GitHub： KwaiVGI/LivePortrait

• 论文： LivePortrait 论文

• HuggingFace： KwaiVGI/LivePortrait

• 演示： HuggingFace Space

推荐硬件

组件	最低	推荐	最佳
GPU	RTX 3070 8GB	RTX 4080 16GB	RTX 4090 24GB
显存	8GB	16GB	24GB
CPU	4 核	8 核	16 核
内存	16GB	32GB	64GB
存储	30GB SSD	50GB NVMe	100GB NVMe
网络	100 Mbps	500 Mbps	1 Gbps

在 CLORE.AI 上快速部署

Docker 镜像：

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

端口：

22/tcp
7860/http

命令：

cd /workspace && \
git clone https://github.com/KwaiVGI/LivePortrait.git && \
cd LivePortrait && \
pip install -r requirements.txt && \
python app.py

访问你的服务

部署后，找到你的 http_pub URL 在 我的订单:

1. 前往 我的订单 页面

2. 点击你的订单

3. 找到 http_pub URL（例如， abc123.clorecloud.net)

使用 https://YOUR_HTTP_PUB_URL 替代 localhost 在下面的示例中。

安装

git clone https://github.com/KwaiVGI/LivePortrait.git
cd LivePortrait
pip install -r requirements.txt

# 下载预训练模型
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights

你可以创建什么

虚拟头像

• AI 网红和虚拟主播

• 客服头像

• 教育演示讲师

内容创作

• 社交媒体内容

• 营销材料

• 音乐视频概念

娱乐

• 为历史照片生成动画

• 角色动画

• 互动体验

专业用途

• 视频会议头像

• 演示助手

• 训练模拟

基础用法

命令行

python inference.py \
    --source_image path/to/portrait.jpg \
    --driving_video path/to/driving.mp4 \
    --output_path output.mp4

Python API

from liveportrait import LivePortraitPipeline

# 初始化管道
pipeline = LivePortraitPipeline(
    device="cuda",
    model_path="./pretrained_weights"
)

# 为肖像生成动画
result = pipeline.animate(
    source_image="portrait.jpg",
    driving_video="driving.mp4"
)

result.save("animated_portrait.mp4")

带表情控制的肖像

from liveportrait import LivePortraitPipeline
import cv2

pipeline = LivePortraitPipeline(device="cuda")

# 控制特定表情
expressions = {
    "smile": 0.8,
    "eyebrow_raise": 0.3,
    "head_pitch": -5,  # 角度
    "head_yaw": 10
}

result = pipeline.animate_with_expression(
    source_image="portrait.jpg",
    expressions=expressions,
    num_frames=60,
    fps=30
)

result.save("expression_controlled.mp4")

批量处理

import os
from liveportrait import LivePortraitPipeline

pipeline = LivePortraitPipeline(device="cuda")

# 使用相同的驱动视频为多个肖像生成动画
portraits = [
    "portrait1.jpg",
    "portrait2.jpg",
    "portrait3.jpg"
]

driving = "speech_driving.mp4"
output_dir = "./animated"
os.makedirs(output_dir, exist_ok=True)

for i, portrait in enumerate(portraits):
    print(f"处理中 {i+1}/{len(portraits)}：{portrait}")

    result = pipeline.animate(
        source_image=portrait,
        driving_video=driving
    )

    result.save(f"{output_dir}/animated_{i:03d}.mp4")

Gradio 界面

import gradio as gr
from liveportrait import LivePortraitPipeline
import tempfile

pipeline = LivePortraitPipeline(device="cuda")

def animate(source_image, driving_video):
    with tempfile.NamedTemporaryFile(suffix=".mp4", delete=False) as f:
        result = pipeline.animate(
            source_image=source_image,
            driving_video=driving_video
        )
        result.save(f.name)
        return f.name

demo = gr.Interface(
    fn=animate,
    inputs=[
        gr.Image(type="filepath", label="肖像图像"),
        gr.Video(label="驱动视频")
    ],
    outputs=gr.Video(label="动画肖像"),
    title="LivePortrait - 为任意肖像生成动画",
    description="上传一张肖像和一个驱动视频，即可创建动画视频。运行在 CLORE.AI GPU 服务器上。"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

实时摄像头动画

import cv2
from liveportrait import LivePortraitPipeline

pipeline = LivePortraitPipeline(device="cuda")

# 加载源肖像
source = cv2.imread("portrait.jpg")
pipeline.set_source(source)

# 打开摄像头
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # 使用当前帧作为驱动生成动画
    animated = pipeline.animate_frame(frame)

    cv2.imshow("LivePortrait", animated)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

与 TTS 集成

使用文本转语音创建会说话的头像：

from liveportrait import LivePortraitPipeline
from TTS.api import TTS

# 生成语音
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2")
tts.tts_to_file(
    text="你好！欢迎来到我们的演示。",
    file_path="speech.wav",
    speaker_wav="reference_voice.wav",
    language="en"
)

# 根据音频生成口型同步驱动视频

# （使用单独的口型同步工具或预制驱动视频）

# 为肖像生成动画
pipeline = LivePortraitPipeline(device="cuda")
result = pipeline.animate(
    source_image="presenter.jpg",
    driving_video="lip_sync_driving.mp4"
)
result.save("talking_avatar.mp4")

性能

分辨率	GPU	FPS	延迟
256x256	RTX 3070	30	33毫秒
256x256	RTX 4090	60+	16毫秒
512x512	RTX 4090	30	33毫秒
512x512	A100	45	22毫秒

常见问题与解决方案

未检测到人脸

问题： "源图像中未检测到人脸"

解决方案：

• 确保人脸清晰可见且正面朝向

• 使用光线良好的源图像

• 裁剪图像，使焦点集中在人脸上

• 最小人脸尺寸：128x128 像素

动作不匹配

问题： 动画未跟随驱动视频

解决方案：

• 使用面部动作清晰的驱动视频

• 确保驱动视频中的人脸朝向相似

• 尝试不同的驱动视频

质量问题

问题： 输出看起来模糊或失真

解决方案：

# 使用更高质量的设置
result = pipeline.animate(
    source_image=source,
    driving_video=driving,
    output_size=512,  # 更高分辨率
    enhance_face=True  # 启用人脸增强
)

实时卡顿

问题： 摄像头动画有延迟

解决方案：

• 使用更小的输出分辨率（256x256）

• 启用 TensorRT 优化

• 使用 RTX 4090 或更高显卡以实现实时效果

pipeline = LivePortraitPipeline(
    device="cuda",
    use_tensorrt=True  # 启用 TensorRT
)

音频同步问题

问题： 口型与音频不匹配

解决方案：

• 使用音频转驱动视频生成

• 在后期处理中调整视频时序

• 使用 Wav2Lip 获得更好的口型同步

故障排查

未检测到人脸

• 确保源图像中的人脸清晰可见

• 使用正面照片

• 检查图像分辨率（建议 512+）

动画看起来不自然

• 源图像和驱动视频应具有相似的人脸角度

• 避免驱动视频中出现极端表情

• 使用更短的驱动片段

输出视频已损坏

• 安装 ffmpeg： apt install ffmpeg

• 检查输出格式兼容性

• 确保磁盘空间充足

CUDA 错误

• 安装兼容的 PyTorch 版本

• 检查 CUDA 版本是否满足要求

成本估算

CLORE.AI 市场常见费率（截至 2024 年）：

GPU	小时费率	日费率	4 小时会话
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

价格因提供商和需求而异。请查看 CLORE.AI 市场 以获取当前费率。

节省费用：

• 使用 竞价 可中断工作市场——约三分之一的服务器将现货价格定得低于按需价格（中位数约优惠 13%），其余则与按需价格持平

• 使用 CLORE 代币支付

• 比较不同提供商的价格

下一步

• SadTalker - 其他说话头方案

• Wav2Lip - 更好的口型同步

• XTTS - 语音生成