Wav2Lip

Точная синхронизация губ с любым аудио с помощью Wav2Lip на GPU Clore.ai

Синхронизируйте губы с любым аудио с помощью Wav2Lip.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое Wav2Lip?

Wav2Lip обеспечивает:

• Точная синхронизация губ для любого лица

• Работает с любым аудио

• Входное видео или изображение

• Поддержка работы в реальном времени

Требования

Режим	VRAM	Рекомендуется
Базовый	4 ГБ	RTX 3060
Высокое качество	6 ГБ	RTX 3080
HD	8 ГБ	RTX 4080

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Порты:

22/tcp
7860/http

Команда:

cd /workspace && \
git clone https://github.com/Rudrabha/Wav2Lip.git && \\
cd Wav2Lip && \\
pip install -r requirements.txt && \
wget "https://huggingface.co/spaces/wav2lip/wav2lip/resolve/main/checkpoints/wav2lip_gan.pth" -P checkpoints/ && \\
python app.py

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

git clone https://github.com/Rudrabha/Wav2Lip.git
cd Wav2Lip
pip install -r requirements.txt

# Скачать предварительно обученные модели
mkdir -p checkpoints
wget "https://huggingface.co/spaces/wav2lip/wav2lip/resolve/main/checkpoints/wav2lip.pth" -P checkpoints/
wget "https://huggingface.co/spaces/wav2lip/wav2lip/resolve/main/checkpoints/wav2lip_gan.pth" -P checkpoints/

Базовое использование

Командная строка

python inference.py \\
    --checkpoint_path checkpoints/wav2lip_gan.pth \\
    --face input_video.mp4 \\
    --audio audio.wav \\
    --outfile output.mp4

С входным изображением

python inference.py \\
    --checkpoint_path checkpoints/wav2lip_gan.pth \\
    --face face_image.jpg \\
    --audio speech.wav \\
    --outfile talking.mp4

Python API

import subprocess

def wav2lip_sync(face_path, audio_path, output_path, checkpoint="checkpoints/wav2lip_gan.pth"):
    cmd = [
        "python", "inference.py",
        "--checkpoint_path", checkpoint,
        "--face", face_path,
        "--audio", audio_path,
        "--outfile", output_path
    ]
    subprocess.run(cmd, check=True)
    return output_path

# Использование
result = wav2lip_sync(
    face_path="video.mp4",
    audio_path="new_audio.wav",
    output_path="synced.mp4"
)

Варианты качества

Стандартное качество (быстрее)

python inference.py \\
    --checkpoint_path checkpoints/wav2lip.pth \\
    --face input.mp4 \\
    --audio audio.wav \\
    --outfile output.mp4

Высокое качество (GAN)

python inference.py \\
    --checkpoint_path checkpoints/wav2lip_gan.pth \\
    --face input.mp4 \\
    --audio audio.wav \\
    --outfile output.mp4 \\
    --pads 0 10 0 0 \\      # Отступ: сверху справа снизу слева
    --resize_factor 1

Параметры

python inference.py \\
    --checkpoint_path checkpoints/wav2lip_gan.pth \\
    --face video.mp4 \\
    --audio audio.wav \\
    --outfile result.mp4 \\
    --pads 0 10 0 0 \\      # Отступ: сверху справа снизу слева
    --resize_factor 1 \\    # Коэффициент уменьшения
    --crop "0 -1 0 -1" \\   # Область обрезки
    --box "-1 -1 -1 -1" \\  # Рамка лица (автоопределение)
    --nosmooth            # Отключить временное сглаживание

Советы по отступам

Положение лица	Рекомендуемые отступы
По центру	0 10 0 0
Крупный план	0 15 0 0
Далеко	0 5 0 0

Пакетная обработка

import os
import subprocess

def batch_wav2lip(faces_dir, audio_path, output_dir):
    os.makedirs(output_dir, exist_ok=True)

    for filename in os.listdir(faces_dir):
        if filename.endswith(('.mp4', '.jpg', '.png')):
            face_path = os.path.join(faces_dir, filename)
            output_path = os.path.join(output_dir, f"synced_{filename}")

            if filename.endswith(('.jpg', '.png')):
                output_path = output_path.rsplit('.', 1)[0] + '.mp4'

            cmd = [
                "python", "inference.py",
                "--checkpoint_path", "checkpoints/wav2lip_gan.pth",
                "--face", face_path,
                "--audio", audio_path,
                "--outfile", output_path
            ]

            try:
                subprocess.run(cmd, check=True)
                print(f"Обработано: {filename}")
            except subprocess.CalledProcessError as e:
                print(f"Ошибка при обработке {filename}: {e}")

# Использование
batch_wav2lip("./faces", "speech.wav", "./outputs")

Интерфейс Gradio

import gradio as gr
import subprocess
import tempfile
import os

def lip_sync(face_video, audio, quality):
    checkpoint = "checkpoints/wav2lip_gan.pth" if quality == "High (GAN)" else "checkpoints/wav2lip.pth"

    with tempfile.NamedTemporaryFile(suffix=".mp4", delete=False) as out_file:
        output_path = out_file.name

    cmd = [
        "python", "inference.py",
        "--checkpoint_path", checkpoint,
        "--face", face_video,
        "--audio", audio,
        "--outfile", output_path
    ]

    subprocess.run(cmd, check=True)
    return output_path

demo = gr.Interface(
    fn=lip_sync,
    inputs=[
        gr.Video(label="Видео/изображение лица"),
        gr.Audio(type="filepath", label="Аудио"),
        gr.Radio(["Standard", "High (GAN)"], value="High (GAN)", label="Качество")
    ],
    outputs=gr.Video(label="Видео с синхронизированными губами"),
    title="Wav2Lip - Синхронизация губ"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

API-сервер

from fastapi import FastAPI, UploadFile, File
from fastapi.responses import FileResponse
import tempfile
import subprocess
import os

app = FastAPI()

@app.post("/sync")
async def sync_lips(
    face: UploadFile = File(...),
    audio: UploadFile = File(...),
    quality: str = "gan"
):
    with tempfile.TemporaryDirectory() as tmpdir:
        # Сохранить загрузки
        face_ext = os.path.splitext(face.filename)[1]
        face_path = os.path.join(tmpdir, f"face{face_ext}")
        audio_path = os.path.join(tmpdir, "audio.wav")
        output_path = os.path.join(tmpdir, "output.mp4")

        with open(face_path, "wb") as f:
            f.write(await face.read())
        with open(audio_path, "wb") as f:
            f.write(await audio.read())

        # Запуск Wav2Lip
        checkpoint = "checkpoints/wav2lip_gan.pth" if quality == "gan" else "checkpoints/wav2lip.pth"

        cmd = [
            "python", "inference.py",
            "--checkpoint_path", checkpoint,
            "--face", face_path,
            "--audio", audio_path,
            "--outfile", output_path
        ]

        subprocess.run(cmd, check=True)

        return FileResponse(output_path, media_type="video/mp4")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Пайплайн TTS + Wav2Lip

Полное преобразование текста в видео:

from TTS.api import TTS
import subprocess

def text_to_lipsync(text, face_path, output_path, language="en"):
    # Сгенерировать речь
    tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2")
    audio_path = "temp_speech.wav"
    tts.tts_to_file(text=text, file_path=audio_path, language=language)

    # Синхронизация губ
    cmd = [
        "python", "inference.py",
        "--checkpoint_path", "checkpoints/wav2lip_gan.pth",
        "--face", face_path,
        "--audio", audio_path,
        "--outfile", output_path
    ]
    subprocess.run(cmd, check=True)

    return output_path

# Использование
text_to_lipsync(
    "Hello, welcome to our presentation.",
    "presenter.jpg",
    "talking_presenter.mp4"
)

Постобработка

Увеличить разрешение результата

import subprocess

def upscale_video(input_path, output_path):
    cmd = [
        "python", "-m", "realesrgan",
        "--input", input_path,
        "--output", output_path,
        "--scale", "2"
    ]
    subprocess.run(cmd, check=True)

Добавить аудио обратно

# Если аудио было потеряно, добавьте его обратно
ffmpeg -i synced_video.mp4 -i original_audio.wav \\
    -c:v copy -c:a aac \\
    -map 0:v:0 -map 1:a:0 \\
    final_output.mp4

Устранение неполадок

Лицо не обнаружено

• Убедитесь, что лицо хорошо видно

• Хорошее освещение

• Предпочтительно, чтобы лицо было повернуто прямо

• Вход с более высоким разрешением

Плохое качество синхронизации

• Используйте wav2lip_gan.pth

• Настройте отступы

• Проверьте частоту дискретизации аудио (рекомендуется 16 кГц)

Рваный результат

• Увеличьте resize_factor

• Отключите nosmooth

• Используйте видео более высокого качества

Производительность

Вход	GPU	Время обработки
10-секундное видео	RTX 3060	~30с
10-секундное видео	RTX 4090	~15с
30-секундное видео	RTX 4090	~45с
Изображение + 10 секунд аудио	RTX 3090	~20с

Сравнение с SadTalker

Функция	Wav2Lip	SadTalker
Точность синхронизации губ	Отлично	Хорошо
Движение головы	Нет	Естественное
Выражение	Нет	Управляемое
Скорость	Быстрее	Медленнее
Лучше всего для	Дубляж	Аватары

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• SadTalker - Движение головы + губы

• XTTS - Генерация речи

• Клонирование голоса RVC - Преобразование голоса