InstantID

Создавайте изображения с любой идентичностью лица по одной референсной фотографии

Создавайте изображения с любым лицом, используя всего одну референсную фотографию.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Что такое InstantID?

InstantID сохраняет лицевую идентичность:

• Используйте любое референсное лицо

• Zero-shot — обучение не требуется

• Работает с любым стилем/промптом

• Лучше, чем обучение LoRA

Требования

Режим	VRAM	Рекомендуется
Базовый	12GB	RTX 4080
Высокое качество	16GB	RTX 4090
С позой	16 ГБ+	RTX 4090

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Порты:

22/tcp
7860/http

Команда:

pip install diffusers transformers accelerate opencv-python insightface onnxruntime-gpu && \
huggingface-cli download InstantX/InstantID --local-dir ./checkpoints && \
python instantid_app.py

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

pip install diffusers transformers accelerate
pip install opencv-python insightface onnxruntime-gpu
pip install huggingface_hub

# Загрузка моделей
huggingface-cli download InstantX/InstantID --local-dir ./checkpoints

Базовое использование

import torch
import cv2
import numpy as np
from PIL import Image
from diffusers import StableDiffusionXLPipeline, DDIMScheduler
from insightface.app import FaceAnalysis

# Инициализация анализатора лица
app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

# Загрузить пайплайн
pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# Загрузка компонентов InstantID
from diffusers import ControlNetModel

controlnet = ControlNetModel.from_pretrained(
    "./checkpoints/ControlNetModel",
    torch_dtype=torch.float16
)

# Загрузка IP-Adapter для лица
pipe.load_ip_adapter(
    "./checkpoints",
    subfolder="",
    weight_name="ip-adapter.bin"
)

# Обработка референсного лица
face_image = cv2.imread("reference_face.jpg")
faces = app.get(face_image)
face_emb = faces[0].normed_embedding

# Генерация с лицевой идентичностью
image = pipe(
    prompt="портрет человека в образе астронавта, космический фон",
    negative_prompt="уродливый, размытый, низкое качество",
    ip_adapter_image_embeds=[torch.tensor(face_emb).unsqueeze(0)],
    num_inference_steps=30,
    guidance_scale=7.5
).images[0]

image.save("output.png")

Использование пайплайна Diffusers

from diffusers import StableDiffusionXLInstantIDPipeline, DDIMScheduler
from insightface.app import FaceAnalysis
import torch
import cv2

# Загрузка анализатора лица
app = FaceAnalysis(name='antelopev2', providers=['CUDAExecutionProvider'])
app.prepare(ctx_id=0)

# Загрузить пайплайн
pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet="./checkpoints/ControlNetModel",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter_instantid("./checkpoints/ip-adapter.bin")

# Получение эмбеддинга лица
face_image = cv2.imread("face.jpg")
face_info = app.get(face_image)[0]

face_emb = face_info.normed_embedding
face_kps = face_info.kps

# Генерировать
image = pipe(
    prompt="акварельный портрет, художественный стиль",
    face_emb=face_emb,
    face_kps=face_kps,
    num_inference_steps=30
).images[0]

image.save("portrait.png")

Примеры стилей

Профессиональный хедшот

prompt = "профессиональный корпоративный хедшот, студийное освещение, серый фон, деловая одежда"
negative = "мультфильм, аниме, иллюстрация, размыто"

Художественный портрет

prompt = "портрет маслом в стиле Рембрандта, драматическое освещение, качество музейного уровня"
negative = "фото, реалистичный, современный"

Фэнтезийный персонаж

prompt = "фэнтезийный эльфийский персонаж, заострённые уши, магический лесной фон, эфирное освещение"
negative = "человеческие уши, современная одежда, реалистичный"

Стиль аниме

prompt = "портрет персонажа в стиле аниме, стиль Studio Ghibli, детализированный, красивый"
negative = "реалистичный, фото, 3D-рендер"

С управлением позой

from diffusers.utils import load_image

# Загрузка референса позы
pose_image = load_image("pose_reference.jpg")

# Генерация с лицом И позой
image = pipe(
    prompt="человек в динамической позе, динамично, высокое качество",
    face_emb=face_emb,
    face_kps=face_kps,
    image=pose_image,  # Референс позы
    controlnet_conditioning_scale=0.8,
    num_inference_steps=30
).images[0]

Интерфейс Gradio

import gradio as gr
import torch
import cv2
import numpy as np
from diffusers import StableDiffusionXLInstantIDPipeline
from insightface.app import FaceAnalysis

app = FaceAnalysis(name='antelopev2', providers=['CUDAExecutionProvider'])
app.prepare(ctx_id=0)

pipe = StableDiffusionXLInstantIDPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet="./checkpoints/ControlNetModel",
    torch_dtype=torch.float16
).to("cuda")

pipe.load_ip_adapter_instantid("./checkpoints/ip-adapter.bin")

def generate(face_image, prompt, negative_prompt, strength, steps):
    # Преобразование в формат cv2
    face_cv = cv2.cvtColor(np.array(face_image), cv2.COLOR_RGB2BGR)

    # Получение информации о лице
    faces = app.get(face_cv)
    if len(faces) == 0:
        return None, "Лицо не обнаружено!"

    face_info = faces[0]
    face_emb = face_info.normed_embedding
    face_kps = face_info.kps

    # Генерировать
    image = pipe(
        prompt=prompt,
        negative_prompt=negative_prompt,
        face_emb=face_emb,
        face_kps=face_kps,
        ip_adapter_scale=strength,
        num_inference_steps=steps
    ).images[0]

    return image, "Успех!"

demo = gr.Interface(
    fn=generate,
    inputs=[
        gr.Image(type="pil", label="Референсное лицо"),
        gr.Textbox(label="Промпт", value="профессиональный портрет"),
        gr.Textbox(label="Негативная подсказка", value="уродливый, размытый"),
        gr.Slider(0.1, 1.0, value=0.8, label="Сила идентичности"),
        gr.Slider(10, 50, value=30, step=1, label="Шаги")
    ],
    outputs=[
        gr.Image(label="Сгенерированное изображение"),
        gr.Textbox(label="Статус")
    ],
    title="InstantID - Генерация с сохранением идентичности"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Пакетная замена лица

import os
from pathlib import Path

def batch_generate(face_image_path, prompts, output_dir):
    # Загрузка лица
    face_cv = cv2.imread(face_image_path)
    face_info = app.get(face_cv)[0]
    face_emb = face_info.normed_embedding
    face_kps = face_info.kps

    os.makedirs(output_dir, exist_ok=True)

    for i, prompt in enumerate(prompts):
        print(f"Генерация {i+1}/{len(prompts)}: {prompt[:50]}...")

        image = pipe(
            prompt=prompt,
            negative_prompt="уродливый, размытый, деформированный",
            face_emb=face_emb,
            face_kps=face_kps,
            num_inference_steps=30
        ).images[0]

        image.save(f"{output_dir}/output_{i:03d}.png")

# Использование
prompts = [
    "астронавт в скафандре, фон Земли",
    "средневековый рыцарь в доспехах",
    "учёный в лаборатории",
    "повар на кухне ресторана",
    "спортсмен на спортивном поле"
]

batch_generate("my_face.jpg", prompts, "./outputs")

Управление силой идентичности

# Низкая сила — больше стиля, меньше идентичности
image_stylized = pipe(
    prompt=prompt,
    face_emb=face_emb,
    ip_adapter_scale=0.4,  # Низкая
    num_inference_steps=30
).images[0]

# Высокая сила — больше идентичности, меньше стиля
image_faithful = pipe(
    prompt=prompt,
    face_emb=face_emb,
    ip_adapter_scale=0.9,  # Высокая
    num_inference_steps=30
).images[0]

Оптимизация памяти

# Включить оптимизации
pipe.enable_model_cpu_offload()
pipe.enable_vae_slicing()

# Или используйте последовательную выгрузку для очень малого VRAM
pipe.enable_sequential_cpu_offload()

Производительность

Режим	GPU	Время на изображение
Базовый	RTX 4090	~8 с
С позой	RTX 4090	~12 с
Базовый	RTX 3090	~15 с
Базовый	A100	~5 с

Устранение неполадок

Лицо не обнаружено

• Убедитесь, что лицо хорошо видно

• Хорошее освещение на референсном изображении

• Лицо должно быть обращено прямо

Идентичность не сохранена

• Увеличьте ip_adapter_scale

• Используйте более чёткое референсное фото

• Избегайте экстремальных ракурсов

Стиль не применён

• Уменьшите ip_adapter_scale

• Более подробный промпт

• Увеличьте guidance_scale

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• IP-Adapter - Генерация по изображению

• Stable Diffusion WebUI - расширение InstantID

• ControlNet - Управление позой