SadTalker

Создавайте видео с говорящей головой из аудио и изображений на Clore.ai

Анимируйте лица с помощью аудио, чтобы создавать реалистичные видео говорящих голов.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое SadTalker?

SadTalker создаёт видео с говорящей головой:

• Синхронизация губ с любым аудио

• Естественные движения головы

• Работает с одним изображением

• Контроль выражения

Требования

Режим	VRAM	Рекомендуется
Базовый	4 ГБ	RTX 3060
Высокое качество	6 ГБ	RTX 3080
Полное лицо	8 ГБ	RTX 4080

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Порты:

22/tcp
7860/http

Команда:

cd /workspace && \
git clone https://github.com/OpenTalker/SadTalker.git && \\
cd SadTalker && \\
pip install -r requirements.txt && \
bash scripts/download_models.sh && \\
python app.py

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

git clone https://github.com/OpenTalker/SadTalker.git
cd SadTalker

pip install torch torchvision torchaudio
pip install -r requirements.txt

# Скачать предварительно обученные модели
bash scripts/download_models.sh

Базовое использование

Командная строка

python inference.py \\
    --driven_audio audio.wav \\
    --source_image face.jpg \\
    --result_dir ./results \\
    --enhancer gfpgan

Python API

from src.facerender.animate import AnimateFromCoeff
from src.generate_batch import get_data
from src.generate_facerender_batch import get_facerender_data
import torch

class SadTalker:
    def __init__(self):
        self.device = "cuda"
        # Инициализация моделей...

    def generate(self, source_image, driven_audio, **kwargs):
        # Обработка аудио и изображения
        # Генерация анимации
        # Возврат пути к видео
        pass

# Использование
sadtalker = SadTalker()
video_path = sadtalker.generate(
    source_image="face.jpg",
    driven_audio="speech.wav"
)

С улучшением лица

# Использование GFPGAN для улучшения лица
python inference.py \\
    --driven_audio audio.wav \\
    --source_image face.jpg \\
    --enhancer gfpgan \\
    --result_dir ./results

# Использование Real-ESRGAN для всего изображения
python inference.py \\
    --driven_audio audio.wav \\
    --source_image face.jpg \\
    --enhancer realesrgan \\
    --result_dir ./results

Параметры

python inference.py \\
    --driven_audio audio.wav \\
    --source_image face.jpg \\
    --pose_style 0 \\           # 0-46 стилей движения головы
    --expression_scale 1.0 \\   # Интенсивность выражения
    --still \\                  # Минимальное движение головы
    --preprocess crop \\        # обрезка, изменение размера, полное
    --size 256 \\               # Размер вывода
    --enhancer gfpgan

Стили позы

Диапазон	Эффект
0-5	Незаметные движения
6-20	Обычные движения
21-46	Выразительные движения

Пакетная обработка

import os
import subprocess

def generate_talking_video(image_path, audio_path, output_dir):
    cmd = [
        "python", "inference.py",
        "--driven_audio", audio_path,
        "--source_image", image_path,
        "--result_dir", output_dir,
        "--enhancer", "gfpgan"
    ]
    subprocess.run(cmd, check=True)

# Обработка нескольких изображений с одним и тем же аудио
images = ["person1.jpg", "person2.jpg", "person3.jpg"]
audio = "speech.wav"

for i, img in enumerate(images):
    output = f"./results/video_{i}"
    generate_talking_video(img, audio, output)

Интерфейс Gradio

import gradio as gr
import subprocess
import tempfile
import os

def generate_video(image, audio, pose_style, expression_scale, enhancer):
    with tempfile.TemporaryDirectory() as tmpdir:
        # Сохранить входные данные
        image_path = os.path.join(tmpdir, "input.jpg")
        audio_path = os.path.join(tmpdir, "audio.wav")
        image.save(image_path)

        # Сохранить аудио
        import soundfile as sf
        sf.write(audio_path, audio[1], audio[0])

        # Сгенерировать
        cmd = [
            "python", "inference.py",
            "--driven_audio", audio_path,
            "--source_image", image_path,
            "--result_dir", tmpdir,
            "--pose_style", str(pose_style),
            "--expression_scale", str(expression_scale),
            "--enhancer", enhancer
        ]
        subprocess.run(cmd, check=True)

        # Найти выходное видео
        for f in os.listdir(tmpdir):
            if f.endswith(".mp4"):
                return os.path.join(tmpdir, f)

    return None

demo = gr.Interface(
    fn=generate_video,
    inputs=[
        gr.Image(type="pil", label="Исходное лицо"),
        gr.Audio(label="Аудио для управления"),
        gr.Slider(0, 46, value=0, step=1, label="Стиль позы"),
        gr.Slider(0.5, 1.5, value=1.0, step=0.1, label="Масштаб выражения"),
        gr.Dropdown(["gfpgan", "realesrgan", "none"], value="gfpgan", label="Улучшатель")
    ],
    outputs=gr.Video(label="Сгенерированное видео"),
    title="SadTalker - Генерация говорящей головы"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

API-сервер

from fastapi import FastAPI, UploadFile, File
from fastapi.responses import FileResponse
import tempfile
import subprocess
import os

app = FastAPI()

@app.post("/generate")
async def generate(
    image: UploadFile = File(...),
    audio: UploadFile = File(...),
    pose_style: int = 0,
    expression_scale: float = 1.0
):
    with tempfile.TemporaryDirectory() as tmpdir:
        # Сохранить загрузки
        image_path = os.path.join(tmpdir, "input.jpg")
        audio_path = os.path.join(tmpdir, "audio.wav")

        with open(image_path, "wb") as f:
            f.write(await image.read())
        with open(audio_path, "wb") as f:
            f.write(await audio.read())

        # Сгенерировать
        cmd = [
            "python", "inference.py",
            "--driven_audio", audio_path,
            "--source_image", image_path,
            "--result_dir", tmpdir,
            "--pose_style", str(pose_style),
            "--expression_scale", str(expression_scale),
            "--enhancer", "gfpgan"
        ]
        subprocess.run(cmd, check=True)

        # Вернуть видео
        for f in os.listdir(tmpdir):
            if f.endswith(".mp4"):
                return FileResponse(os.path.join(tmpdir, f), media_type="video/mp4")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Синтез речи + SadTalker

Полный конвейер:

import subprocess
from TTS.api import TTS

def text_to_talking_video(text, image_path, output_path):
    # Сгенерировать речь с помощью TTS
    tts = TTS("tts_models/en/ljspeech/tacotron2-DDC")
    audio_path = "temp_audio.wav"
    tts.tts_to_file(text=text, file_path=audio_path)

    # Сгенерировать видео с говорящей головой
    cmd = [
        "python", "inference.py",
        "--driven_audio", audio_path,
        "--source_image", image_path,
        "--result_dir", output_path,
        "--enhancer", "gfpgan"
    ]
    subprocess.run(cmd, check=True)

# Использование
text_to_talking_video(
    "Привет, добро пожаловать на нашу презентацию. Сегодня мы обсудим ИИ.",
    "presenter.jpg",
    "./output"
)

Контроль выражения

# Минимальная мимика (стиль ведущего новостей)
cmd = [
    "python", "inference.py",
    "--driven_audio", "audio.wav",
    "--source_image", "face.jpg",
    "--expression_scale", "0.5",
    "--still"  # Уменьшает движение головы
]

# Выразительный (анимированный персонаж)
cmd = [
    "python", "inference.py",
    "--driven_audio", "audio.wav",
    "--source_image", "face.jpg",
    "--expression_scale", "1.5",
    "--pose_style", "30"
]

Настройки качества

Параметр	Скорость	Качество
Без улучшателя, 256px	Быстро	Базовый
GFPGAN, 256px	Средне	Хорошо
GFPGAN, 512px	Медленно	Лучше
RealESRGAN, 512px	Самый медленный	Лучше всего

Параметры предварительной обработки

# Обрезка — фокус на лице (рекомендуется)
--preprocess crop

# Изменение размера — изменить размер всего изображения
--preprocess resize

# Полное — использовать полное изображение
--preprocess full

Устранение неполадок

Лицо не обнаружено

• Используйте чёткое изображение лица анфас

• Хорошее освещение

• Избегайте перекрытий (очки, волосы)

Проблемы синхронизации аудио

• Используйте WAV-файлы 16 кГц

• Избегайте фоновой музыки

• Только чёткая речь

Рваные движения

• Немного увеличьте expression_scale

• Попробуйте другой pose_style

• Используйте более длинное аудио

Недостаточно памяти

• Уменьшите размер вывода

• Отключите улучшатель

• Используйте предварительную обработку с обрезкой

Производительность

Разрешение	GPU	Время (10-сек. видео)
256px	RTX 3060	~30с
256px	RTX 4090	~15с
512px + GFPGAN	RTX 4090	~45с

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• Wav2Lip - Альтернативная синхронизация губ

• Bark TTS - Генерация речи

• XTTS - Клонирование голоса + TTS