> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/getting-started/docker-images.md).

# Docker इमेजेज

Clore.ai पर AI वर्कलोड के लिए तैयार-डिप्लॉय Docker इमेजेज

CLORE.AI पर AI वर्कलोड्स के लिए तैयार-तैनात Docker इमेजें।

{% hint style="success" %}
इन इमेजों को सीधे यहाँ तैनात करें [CLORE.AI मार्केटप्लेस](https://clore.ai/marketplace).
{% endhint %}

## त्वरित तैनाती संदर्भ

### सबसे लोकप्रिय

| कार्य                   | इमेज                                 | पोर्ट्स   |
| ----------------------- | ------------------------------------ | --------- |
| AI के साथ चैट करें      | `ollama/ollama`                      | 22, 11434 |
| ChatGPT जैसा UI         | `ghcr.io/open-webui/open-webui`      | 22, 8080  |
| इमेज जनरेशन             | `universonic/stable-diffusion-webui` | 22, 7860  |
| Node-आधारित इमेज जनरेशन | `yanwk/comfyui-boot`                 | 22, 8188  |
| LLM API सर्वर           | `vllm/vllm-openai`                   | 22, 8000  |

***

## भाषा मॉडल्स

### Ollama

**सार्वभौमिक LLM रनर - कोई भी मॉडल चलाने का सबसे आसान तरीका।**

```
छवि: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
कमांड: ollama serve
```

**तैनाती के बाद:**

```bash
# सर्वर पर SSH करें
ssh -p <port> root@<proxy>

# एक मॉडल डाउनलोड और चलाएँ
ollama pull llama3.2
ollama run llama3.2
```

**पर्यावरण चर:**

```
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models
```

***

### Open WebUI

**Ollama के लिए ChatGPT जैसा इंटरफ़ेस।**

```
छवि: ghcr.io/open-webui/open-webui:ollama
पोर्ट: 22/tcp, 8080/http
```

Ollama अंतर्निर्मित शामिल है। HTTP पोर्ट के माध्यम से पहुँचें।

**स्वतंत्र (मौजूदा Ollama से कनेक्ट करें):**

```
छवि: ghcr.io/open-webui/open-webui:main
पोर्ट: 22/tcp, 8080/http
पर्यावरण: OLLAMA_BASE_URL=http://localhost:11434
```

***

### vLLM

**OpenAI-संगत API के साथ उच्च-प्रदर्शन LLM सर्विंग।**

```
छवि: vllm/vllm-openai:latest
पोर्ट्स: 22/tcp, 8000/http
कमांड: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0
```

**बड़े मॉडलों के लिए (मल्टी-GPU):**

```bash
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2 \\
    --host 0.0.0.0
```

**पर्यावरण चर:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>  # gated मॉडलों के लिए
```

***

### Text Generation Inference (TGI)

**HuggingFace का प्रोडक्शन LLM सर्वर।**

```
छवि: ghcr.io/huggingface/text-generation-inference:latest
पोर्ट: 22/tcp, 8080/http
कमांड: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct
```

**पर्यावरण चर:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192
```

***

## इमेज जनरेशन

### Stable Diffusion WebUI (AUTOMATIC1111)

**एक्सटेंशनों के साथ सबसे लोकप्रिय SD इंटरफ़ेस।**

```
इमेज: universonic/stable-diffusion-webui:latest
पोर्ट्स: 22/tcp, 7860/http
```

**कम VRAM (8GB या कम) के लिए:**

```bash
./webui.sh --listen --medvram --xformers
```

**API पहुँच के लिए:**

```bash
./webui.sh --listen --xformers --api
```

***

### ComfyUI

**उन्नत उपयोगकर्ताओं के लिए Node-आधारित वर्कफ़्लो।**

```
इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http
पर्यावरण: CLI_ARGS=--listen 0.0.0.0
```

**वैकल्पिक इमेजें:**

```
# सामान्य एक्सटेंशनों के साथ
छवि: yanwk/comfyui-boot:cu130-megapak-pt211

# न्यूनतम
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
```

**मैन्युअल सेटअप कमांड:**

```bash
git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0
```

***

### Fooocus

**सरल SD इंटरफ़ेस, Midjourney जैसा।**

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट: 22/tcp, 7865/http
कमांड: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen
```

***

### FLUX

**नवीनतम उच्च-गुणवत्ता छवि निर्माण।**

FLUX nodes के साथ ComfyUI का उपयोग करें:

```
इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http
```

या Diffusers के माध्यम से:

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```python
# SSH के बाद
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF
```

***

## वीडियो निर्माण

### स्टेबल वीडियो डिफ्यूज़न

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF
```

***

### AnimateDiff

ComfyUI के साथ उपयोग करें:

```
इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http
```

ComfyUI Manager के माध्यम से AnimateDiff nodes इंस्टॉल करें।

***

## ऑडियो और वॉयस

### Whisper (प्रतिलेखन)

```
छवि: onerahmet/openai-whisper-asr-webservice:latest
पोर्ट्स: 22/tcp, 9000/http
पर्यावरण: ASR_MODEL=large-v3
```

**API उपयोग:**

```bash
curl -X POST "http://localhost:9000/asr" \\
    -F "audio_file=@audio.mp3" \\
    -F "task=transcribe"
```

***

### Bark (टेक्स्ट-टू-स्पीच)

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF
```

***

### Stable Audio

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install stable-audio-tools
# मॉडल एक्सेस के लिए HF टोकन आवश्यक है
```

***

## विज़न मॉडल

### LLaVA

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b
```

***

### Llama 3.2 Vision

Ollama का उपयोग करें:

```
छवि: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
```

```bash
ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg
```

***

## विकास और प्रशिक्षण

### PyTorch बेस

**कस्टम सेटअप और प्रशिक्षण के लिए।**

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

शामिल: CUDA 12.8, cuDNN 9, PyTorch 2.11

***

### Jupyter Lab

**ML के लिए इंटरैक्टिव नोटबुक्स।**

```
छवि: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
पोर्ट्स: 22/tcp, 8888/http
```

या Jupyter के साथ PyTorch बेस का उपयोग करें:

```bash
pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
```

***

### Kohya प्रशिक्षण

**LoRA और मॉडल फाइन-ट्यूनिंग के लिए।**

```
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# प्रशिक्षण स्क्रिप्ट्स का उपयोग करें
```

***

## बेस इमेज संदर्भ

{% hint style="danger" %}
**CUDA बिल्ड को कार्ड से मिलाएँ।** RTX 50-श्रृंखला (Blackwell) को CUDA 12.8+ और PyTorch 2.7+ की आवश्यकता है; CUDA 12.4 वाली इमेज उस पर साथ में विफल हो जाती है `डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है`. पूरी तालिका: [CUDA और PyTorch संगतता](/guides/guides_v2-hi/getting-started/cuda-pytorch-compatibility.md).
{% endhint %}

### NVIDIA आधिकारिक

| इमेज                                     | CUDA | उपयोग-प्रकरण                                  |
| ---------------------------------------- | ---- | --------------------------------------------- |
| `nvidia/cuda:12.8.1-devel-ubuntu22.04`   | 12.8 | CUDA विकास, Turing → Blackwell तक काम करता है |
| `nvidia/cuda:12.8.1-runtime-ubuntu22.04` | 12.8 | केवल CUDA रनटाइम                              |
| `nvidia/cuda:13.0.3-devel-ubuntu24.04`   | 13.0 | सबसे नया; केवल Turing और उससे ऊपर             |
| `nvidia/cuda:11.8.0-devel-ubuntu22.04`   | 11.8 | पुराने कार्ड (Pascal, पुराने Volta स्टैक्स)   |

### PyTorch आधिकारिक

| इमेज                                           | PyTorch | CUDA | कार्ड्स                              |
| ---------------------------------------------- | ------- | ---- | ------------------------------------ |
| `pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel` | 2.11    | 12.8 | **डिफ़ॉल्ट।** Ampere, Ada, Blackwell |
| `pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel` | 2.13    | 13.2 | Turing और नए                         |
| `pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel` | 2.10    | 12.8 | Tesla V100 समर्थन वाला अंतिम रिलीज़  |
| `pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel`  | 2.5     | 12.4 | Pascal माइनिंग कार्ड्स               |

### HuggingFace

| इमेज                                            | उद्देश्य               |
| ----------------------------------------------- | ---------------------- |
| `huggingface/transformers-pytorch-gpu`          | Transformers + PyTorch |
| `ghcr.io/huggingface/text-generation-inference` | TGI सर्वर              |

***

## पर्यावरण चर

### सामान्य चर

| वेरिएबल                  | विवरण                           | उदाहरण         |
| ------------------------ | ------------------------------- | -------------- |
| `HUGGING_FACE_HUB_TOKEN` | gated मॉडलों के लिए HF API टोकन | `hf_xxx`       |
| `CUDA_VISIBLE_DEVICES`   | GPU चयन                         | `0,1`          |
| `TRANSFORMERS_CACHE`     | मॉडल कैश निर्देशिका             | `/root/.cache` |

### Ollama चर

| वेरिएबल               | विवरण                | डिफ़ॉल्ट           |
| --------------------- | -------------------- | ------------------ |
| `OLLAMA_HOST`         | बाइंड पता            | `127.0.0.1`        |
| `OLLAMA_MODELS`       | मॉडलों की निर्देशिका | `~/.ollama/models` |
| `OLLAMA_NUM_PARALLEL` | समानांतर अनुरोध      | `1`                |

### vLLM चर

| वेरिएबल                  | विवरण                               |
| ------------------------ | ----------------------------------- |
| `VLLM_ATTENTION_BACKEND` | Attention implementation            |
| `VLLM_USE_MODELSCOPE`    | HF के बजाय ModelScope का उपयोग करें |

***

## पोर्ट संदर्भ

| पोर्ट | प्रोटोकॉल | सेवा                       |
| ----- | --------- | -------------------------- |
| 22    | TCP       | SSH                        |
| 7860  | HTTP      | Gradio (SD WebUI, Fooocus) |
| 7865  | HTTP      | Fooocus विकल्प             |
| 8000  | HTTP      | vLLM API                   |
| 8080  | HTTP      | Open WebUI, TGI            |
| 8188  | HTTP      | ComfyUI                    |
| 8888  | HTTP      | Jupyter                    |
| 9000  | HTTP      | Whisper API                |
| 11434 | TCP       | Ollama API                 |

***

## सुझाव

### स्थायी संग्रहण

रीस्टार्ट के बीच डेटा रखने के लिए volumes माउंट करें:

```bash
docker run -v /data/models:/root/.cache/huggingface ...
```

### GPU चयन

मल्टी-GPU सिस्टम के लिए:

```bash
docker run --gpus '"device=0,1"' ...
# या
CUDA_VISIBLE_DEVICES=0,1
```

### मेमोरी प्रबंधन

यदि VRAM कम पड़ रही हो:

1. छोटे मॉडल का उपयोग करें
2. CPU ऑफलोड सक्षम करें
3. बैच आकार कम करें
4. quantized मॉडल (GGUF Q4) का उपयोग करें

## अगले चरण

* [जीपीयू तुलना](/guides/guides_v2-hi/getting-started/gpu-comparison.md) - सही GPU चुनें
* [मॉडल संगतता](/guides/guides_v2-hi/getting-started/model-compatibility.md) - कहाँ क्या चलता है
* [त्वरित शुरुआत मार्गदर्शिका](/guides/guides_v2-hi/quickstart.md) - 5 मिनट में शुरू करें


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-hi/getting-started/docker-images.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.