> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-ru/nachalo-raboty/docker-images.md).

# Docker-образы

Готовые к развёртыванию Docker-образы для AI-нагрузок на CLORE.AI.

{% hint style="success" %}
Разворачивайте эти образы напрямую на [маркетплейс CLORE.AI](https://clore.ai/marketplace).
{% endhint %}

## Краткое руководство по развёртыванию

### Самые популярные

| Задача                                | Образ                                | Порты     |
| ------------------------------------- | ------------------------------------ | --------- |
| Чат с ИИ                              | `ollama/ollama`                      | 22, 11434 |
| Интерфейс в стиле ChatGPT             | `ghcr.io/open-webui/open-webui`      | 22, 8080  |
| Генерация изображений                 | `universonic/stable-diffusion-webui` | 22, 7860  |
| Генерация изображений на основе узлов | `yanwk/comfyui-boot`                 | 22, 8188  |
| LLM API-сервер                        | `vllm/vllm-openai`                   | 22, 8000  |

***

## Языковые модели

### компонент

**Универсальный запуск LLM — самый простой способ запустить любую модель.**

```
Образ: ollama/ollama
Порты: 22/tcp, 11434/http
Команда: ollama serve
```

**После развёртывания:**

```bash
# Подключиться к серверу по SSH
ssh -p <port> root@<proxy>

# Скачать и запустить модель
ollama pull llama3.2
ollama run llama3.2
```

**Переменные окружения:**

```
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models
```

***

### Open WebUI

**Интерфейс в стиле ChatGPT для Ollama.**

```
Образ: ghcr.io/open-webui/open-webui:ollama
Порты: 22/tcp, 8080/http
```

Включает встроенный Ollama. Доступ через HTTP-порт.

**Отдельно (подключение к существующему Ollama):**

```
Образ: ghcr.io/open-webui/open-webui:main
Порты: 22/tcp, 8080/http
Переменная окружения: OLLAMA_BASE_URL=http://localhost:11434
```

***

### vLLM

**Высокопроизводительное обслуживание LLM с API, совместимым с OpenAI.**

```
Образ: vllm/vllm-openai:latest
Порты: 22/tcp, 8000/http
Команда: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0
```

**Для больших моделей (multi-GPU):**

```bash
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0
```

**Переменные окружения:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>  # Для закрытых моделей
```

***

### Text Generation Inference (TGI)

**Продакшен-сервер LLM от HuggingFace.**

```
Образ: ghcr.io/huggingface/text-generation-inference:latest
Порты: 22/tcp, 8080/http
Команда: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct
```

**Переменные окружения:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192
```

***

## Генерация изображений

### Stable Diffusion WebUI (AUTOMATIC1111)

**Самый популярный интерфейс для SD с расширениями.**

```
Образ: universonic/stable-diffusion-webui:latest
Порты: 22/tcp, 7860/http
```

**Для низкого VRAM (8 ГБ или меньше):**

```bash
./webui.sh --listen --medvram --xformers
```

**Для доступа к API:**

```bash
./webui.sh --listen --xformers --api
```

***

### ComfyUI

**Рабочий процесс на основе узлов для опытных пользователей.**

```
Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http
Окружение: CLI_ARGS=--listen 0.0.0.0
```

**Альтернативные образы:**

```
# С распространёнными расширениями
Образ: yanwk/comfyui-boot:cu130-megapak-pt211

# Минимальный
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
```

**Команда ручной настройки:**

```bash
git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0
```

***

### Fooocus

**Упрощённый интерфейс SD, в стиле Midjourney.**

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp, 7865/http
Команда: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen
```

***

### FLUX

**Новейшая высококачественная генерация изображений.**

Используйте ComfyUI с узлами FLUX:

```
Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http
```

Или через Diffusers:

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```python
# После SSH
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF
```

***

## Генерация видео

### Stable Video Diffusion

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF
```

***

### AnimateDiff

Использование с ComfyUI:

```
Образ: yanwk/comfyui-boot:cu130-slim
Порты: 22/tcp, 8188/http
```

Установите узлы AnimateDiff через ComfyUI Manager.

***

## Аудио и голос

### Whisper (транскрибация)

```
Образ: onerahmet/openai-whisper-asr-webservice:latest
Порты: 22/tcp, 9000/http
Переменная окружения: ASR_MODEL=large-v3
```

**Использование API:**

```bash
curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"
```

***

### Bark (синтез речи)

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF
```

***

### Stable Audio

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install stable-audio-tools
# Для доступа к модели требуется токен HF
```

***

## Модели зрения

### LLaVA

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b
```

***

### Llama 3.2 Vision

Используйте Ollama:

```
Образ: ollama/ollama
Порты: 22/tcp, 11434/http
```

```bash
ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg
```

***

## Разработка и обучение

### Базовый PyTorch

**Для пользовательских конфигураций и обучения.**

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

Включает: CUDA 12.8, cuDNN 9, PyTorch 2.11

***

### Jupyter Lab

**Интерактивные блокноты для ML.**

```
Образ: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
Порты: 22/tcp, 8888/http
```

Или используйте базовый PyTorch с Jupyter:

```bash
pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
```

***

### Обучение Kohya

**Для LoRA и дообучения моделей.**

```
Образ: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Порты: 22/tcp
```

```bash
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# Используйте скрипты обучения
```

***

## Справочник базовых образов

{% hint style="danger" %}
**Сопоставляйте сборку CUDA с картой.** RTX 50-series (Blackwell) требует CUDA 12.8+ и PyTorch 2.7+; образ с CUDA 12.4 на ней не работает с `нет доступного образа ядра для выполнения на устройстве`. Полная матрица: [Совместимость CUDA и PyTorch](/guides/guides_v2-ru/nachalo-raboty/cuda-pytorch-compatibility.md).
{% endhint %}

### Официальный NVIDIA

| Образ                                    | CUDA | Сценарий использования                           |
| ---------------------------------------- | ---- | ------------------------------------------------ |
| `nvidia/cuda:12.8.1-devel-ubuntu22.04`   | 12.8 | Разработка CUDA, работает от Turing до Blackwell |
| `nvidia/cuda:12.8.1-runtime-ubuntu22.04` | 12.8 | Только рантайм CUDA                              |
| `nvidia/cuda:13.0.3-devel-ubuntu24.04`   | 13.0 | Самый новый; только для Turing и новее           |
| `nvidia/cuda:11.8.0-devel-ubuntu22.04`   | 11.8 | Устаревшие карты (Pascal, старые стеки Volta)    |

### Официальный PyTorch

| Образ                                          | PyTorch | CUDA | Карты                                    |
| ---------------------------------------------- | ------- | ---- | ---------------------------------------- |
| `pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel` | 2.11    | 12.8 | **По умолчанию.** Ampere, Ada, Blackwell |
| `pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel` | 2.13    | 13.2 | Turing и новее                           |
| `pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel` | 2.10    | 12.8 | Последний релиз с поддержкой Tesla V100  |
| `pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel`  | 2.5     | 12.4 | Майнинговые карты Pascal                 |

### HuggingFace

| Образ                                           | Назначение             |
| ----------------------------------------------- | ---------------------- |
| `huggingface/transformers-pytorch-gpu`          | Transformers + PyTorch |
| `ghcr.io/huggingface/text-generation-inference` | Сервер TGI             |

***

## Переменные окружения

### Общие переменные

| Переменная               | Описание                          | Пример         |
| ------------------------ | --------------------------------- | -------------- |
| `HUGGING_FACE_HUB_TOKEN` | Токен HF API для закрытых моделей | `hf_xxx`       |
| `CUDA_VISIBLE_DEVICES`   | Выбор GPU                         | `0,1`          |
| `TRANSFORMERS_CACHE`     | Каталог кэша модели               | `/root/.cache` |

### Переменные Ollama

| Переменная            | Описание             | По умолчанию       |
| --------------------- | -------------------- | ------------------ |
| `OLLAMA_HOST`         | Адрес привязки       | `127.0.0.1`        |
| `OLLAMA_MODELS`       | Каталог моделей      | `~/.ollama/models` |
| `OLLAMA_NUM_PARALLEL` | Параллельные запросы | `1`                |

### Переменные vLLM

| Переменная               | Описание                          |
| ------------------------ | --------------------------------- |
| `VLLM_ATTENTION_BACKEND` | Реализация внимания               |
| `VLLM_USE_MODELSCOPE`    | Использовать ModelScope вместо HF |

***

## Справочник портов

| Порт  | Протокол | Сервис                     |
| ----- | -------- | -------------------------- |
| 22    | TCP      | SSH                        |
| 7860  | HTTP     | Gradio (SD WebUI, Fooocus) |
| 7865  | HTTP     | Альтернатива Fooocus       |
| 8000  | HTTP     | API vLLM                   |
| 8080  | HTTP     | Open WebUI, TGI            |
| 8188  | HTTP     | ComfyUI                    |
| 8888  | HTTP     | Jupyter                    |
| 9000  | HTTP     | Whisper API                |
| 11434 | TCP      | API Ollama                 |

***

## Советы

### Постоянное хранилище

Подключайте тома, чтобы сохранять данные между перезапусками:

```bash
docker run -v /data/models:/root/.cache/huggingface ...
```

### Выбор GPU

Для систем с несколькими GPU:

```bash
docker run --gpus '"device=0,1"' ...
# или
CUDA_VISIBLE_DEVICES=0,1
```

### Управление памятью

Если заканчивается VRAM:

1. Используйте модели меньшего размера
2. Включите выгрузку на CPU
3. Уменьшите размер пакета
4. Используйте квантованные модели (GGUF Q4)

## Дальнейшие шаги

* [Сравнение GPU](/guides/guides_v2-ru/nachalo-raboty/gpu-comparison.md) - Выберите правильный GPU
* [Совместимость моделей](/guides/guides_v2-ru/nachalo-raboty/model-compatibility.md) - Что где запускается
* [Краткое руководство по началу работы](/guides/guides_v2-ru/quickstart.md) - Начните за 5 минут


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-ru/nachalo-raboty/docker-images.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.