Docker-образы

Готовые к развёртыванию Docker-образы для AI-нагрузок на Clore.ai

Готовые к развёртыванию Docker-образы для AI-нагрузок на CLORE.AI.

Разворачивайте эти образы напрямую на маркетплейс CLORE.AI.

Краткое руководство по развёртыванию

Самые популярные

Задача	Образ	Порты
Чат с ИИ	ollama/ollama	22, 11434
Интерфейс в стиле ChatGPT	ghcr.io/open-webui/open-webui	22, 8080
Генерация изображений	universonic/stable-diffusion-webui	22, 7860
Генерация изображений на основе узлов	yanwk/comfyui-boot	22, 8188
LLM API-сервер	vllm/vllm-openai	22, 8000

---

Языковые модели

компонент

Универсальный запуск LLM — самый простой способ запустить любую модель.

Образ: ollama/ollama
Порты: 22/tcp, 11434/http
Команда: ollama serve

После развёртывания:

# Подключиться к серверу по SSH
ssh -p <port> root@<proxy>

# Скачать и запустить модель
ollama pull llama3.2
ollama run llama3.2

Переменные окружения:

OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models

---

Open WebUI

Интерфейс в стиле ChatGPT для Ollama.

Образ: ghcr.io/open-webui/open-webui:ollama
Порты: 22/tcp, 8080/http

Включает встроенный Ollama. Доступ через HTTP-порт.

Отдельно (подключение к существующему Ollama):

Образ: ghcr.io/open-webui/open-webui:main
Порты: 22/tcp, 8080/http
Переменная окружения: OLLAMA_BASE_URL=http://localhost:11434

---

vLLM

Высокопроизводительное обслуживание LLM с API, совместимым с OpenAI.

Образ: vllm/vllm-openai:latest
Порты: 22/tcp, 8000/http
Команда: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0

Для больших моделей (multi-GPU):

python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0

Переменные окружения:

HUGGING_FACE_HUB_TOKEN=<your-token>  # Для закрытых моделей

---

Text Generation Inference (TGI)

Продакшен-сервер LLM от HuggingFace.

Образ: ghcr.io/huggingface/text-generation-inference:latest
Порты: 22/tcp, 8080/http
Команда: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct

Переменные окружения:

HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192

---

Генерация изображений

Stable Diffusion WebUI (AUTOMATIC1111)

Самый популярный интерфейс для SD с расширениями.

Образ: universonic/stable-diffusion-webui:latest
Порты: 22/tcp, 7860/http

Для низкого VRAM (8 ГБ или меньше):

./webui.sh --listen --medvram --xformers

Для доступа к API:

./webui.sh --listen --xformers --api

---

ComfyUI

Рабочий процесс на основе узлов для опытных пользователей.

Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http
Окружение: CLI_ARGS=--listen 0.0.0.0

Альтернативные образы:

# С распространёнными расширениями
Образ: yanwk/comfyui-boot:cu130-megapak-pt211

# Минимальный
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Команда ручной настройки:

git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0

---

Fooocus

Упрощённый интерфейс SD, в стиле Midjourney.

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp, 7865/http
Команда: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen

---

FLUX

Новейшая высококачественная генерация изображений.

Используйте ComfyUI с узлами FLUX:

Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http

Или через Diffusers:

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

# После SSH
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF

---

Генерация видео

Stable Video Diffusion

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF

---

AnimateDiff

Использование с ComfyUI:

Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http

Установите узлы AnimateDiff через ComfyUI Manager.

---

Аудио и голос

Whisper (транскрибация)

Образ: onerahmet/openai-whisper-asr-webservice:latest
Порты: 22/tcp, 9000/http
Переменная окружения: ASR_MODEL=large-v3

Использование API:

curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"

---

Bark (синтез речи)

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF

---

Stable Audio

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

pip install stable-audio-tools
# Для доступа к модели требуется токен HF

---

Модели зрения

LLaVA

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b

---

Llama 3.2 Vision

Используйте Ollama:

Образ: ollama/ollama
Порты: 22/tcp, 11434/http

ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg

---

Разработка и обучение

Базовый PyTorch

Для пользовательских конфигураций и обучения.

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

Включает: CUDA 12.8, cuDNN 9, PyTorch 2.11

---

Jupyter Lab

Интерактивные блокноты для ML.

Образ: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
Порты: 22/tcp, 8888/http

Или используйте базовый PyTorch с Jupyter:

pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser

---

Обучение Kohya

Для LoRA и дообучения моделей.

Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp

git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# Используйте скрипты обучения

---

Справочник базовых образов

Сопоставляйте сборку CUDA с картой. RTX 50-series (Blackwell) требует CUDA 12.8+ и PyTorch 2.7+; образ с CUDA 12.4 на ней не работает с нет доступного образа ядра для выполнения на устройстве. Полная матрица: Совместимость CUDA и PyTorch.

Официальный NVIDIA

Образ	CUDA	Сценарий использования
nvidia/cuda:12.8.1-devel-ubuntu22.04	12.8	Разработка CUDA, работает от Turing до Blackwell
nvidia/cuda:12.8.1-runtime-ubuntu22.04	12.8	Только рантайм CUDA
nvidia/cuda:13.0.3-devel-ubuntu24.04	13.0	Самый новый; только для Turing и новее
nvidia/cuda:11.8.0-devel-ubuntu22.04	11.8	Устаревшие карты (Pascal, старые стеки Volta)

Официальный PyTorch

Образ	PyTorch	CUDA	Карты
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel	2.11	12.8	По умолчанию. Ampere, Ada, Blackwell
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel	2.13	13.2	Turing и новее
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel	2.10	12.8	Последний релиз с поддержкой Tesla V100
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel	2.5	12.4	Майнинговые карты Pascal

HuggingFace

Образ	Назначение
huggingface/transformers-pytorch-gpu	Transformers + PyTorch
ghcr.io/huggingface/text-generation-inference	Сервер TGI

---

Переменные окружения

Общие переменные

Переменная	Описание	Пример
HUGGING_FACE_HUB_TOKEN	Токен HF API для закрытых моделей	hf_xxx
CUDA_VISIBLE_DEVICES	Выбор GPU	0,1
TRANSFORMERS_CACHE	Каталог кэша модели	/root/.cache

Переменные Ollama

Переменная	Описание	По умолчанию
OLLAMA_HOST	Адрес привязки	127.0.0.1
OLLAMA_MODELS	Каталог моделей	~/.ollama/models
OLLAMA_NUM_PARALLEL	Параллельные запросы	1

Переменные vLLM

Переменная	Описание
VLLM_ATTENTION_BACKEND	Реализация внимания
VLLM_USE_MODELSCOPE	Использовать ModelScope вместо HF

---

Справочник портов

Порт	Протокол	Сервис
22	TCP	SSH
7860	HTTP	Gradio (SD WebUI, Fooocus)
7865	HTTP	Альтернатива Fooocus
8000	HTTP	API vLLM
8080	HTTP	Open WebUI, TGI
8188	HTTP	ComfyUI
8888	HTTP	Jupyter
9000	HTTP	Whisper API
11434	TCP	API Ollama

---

Советы

Постоянное хранилище

Подключайте тома, чтобы сохранять данные между перезапусками:

docker run -v /data/models:/root/.cache/huggingface ...

Выбор GPU

Для систем с несколькими GPU:

docker run --gpus '"device=0,1"' ...
# или
CUDA_VISIBLE_DEVICES=0,1

Управление памятью

Если заканчивается VRAM:

1. Используйте модели меньшего размера

2. Включите выгрузку на CPU

3. Уменьшите размер пакета

4. Используйте квантованные модели (GGUF Q4)

Дальнейшие шаги

• Сравнение GPU - Выберите правильный GPU

• Совместимость моделей - Что где запускается

• Краткое руководство по началу работы - Начните за 5 минут