Docker इमेजेज

Clore.ai पर AI वर्कलोड के लिए तैयार-डिप्लॉय Docker इमेजेज

CLORE.AI पर AI वर्कलोड्स के लिए तैयार-तैनात Docker इमेजें।

इन इमेजों को सीधे यहाँ तैनात करें CLORE.AI मार्केटप्लेस.

त्वरित तैनाती संदर्भ

सबसे लोकप्रिय

कार्य

इमेज

पोर्ट्स

AI के साथ चैट करें

ollama/ollama

22, 11434

ChatGPT जैसा UI

ghcr.io/open-webui/open-webui

22, 8080

इमेज जनरेशन

universonic/stable-diffusion-webui

22, 7860

Node-आधारित इमेज जनरेशन

yanwk/comfyui-boot

22, 8188

LLM API सर्वर

vllm/vllm-openai

22, 8000

भाषा मॉडल्स

Ollama

सार्वभौमिक LLM रनर - कोई भी मॉडल चलाने का सबसे आसान तरीका।

छवि: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
कमांड: ollama serve

तैनाती के बाद:

# सर्वर पर SSH करें
ssh -p <port> root@<proxy>

# एक मॉडल डाउनलोड और चलाएँ
ollama pull llama3.2
ollama run llama3.2

पर्यावरण चर:

OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models

Open WebUI

Ollama के लिए ChatGPT जैसा इंटरफ़ेस।

छवि: ghcr.io/open-webui/open-webui:ollama
पोर्ट: 22/tcp, 8080/http

Ollama अंतर्निर्मित शामिल है। HTTP पोर्ट के माध्यम से पहुँचें।

स्वतंत्र (मौजूदा Ollama से कनेक्ट करें):

छवि: ghcr.io/open-webui/open-webui:main
पोर्ट: 22/tcp, 8080/http
पर्यावरण: OLLAMA_BASE_URL=http://localhost:11434

vLLM

OpenAI-संगत API के साथ उच्च-प्रदर्शन LLM सर्विंग।

छवि: vllm/vllm-openai:latest
पोर्ट्स: 22/tcp, 8000/http
कमांड: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0

बड़े मॉडलों के लिए (मल्टी-GPU):

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2 \\
    --host 0.0.0.0

पर्यावरण चर:

HUGGING_FACE_HUB_TOKEN=<your-token>  # gated मॉडलों के लिए

Text Generation Inference (TGI)

HuggingFace का प्रोडक्शन LLM सर्वर।

छवि: ghcr.io/huggingface/text-generation-inference:latest
पोर्ट: 22/tcp, 8080/http
कमांड: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct

पर्यावरण चर:

HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192

इमेज जनरेशन

Stable Diffusion WebUI (AUTOMATIC1111)

एक्सटेंशनों के साथ सबसे लोकप्रिय SD इंटरफ़ेस।

इमेज: universonic/stable-diffusion-webui:latest
पोर्ट्स: 22/tcp, 7860/http

कम VRAM (8GB या कम) के लिए:

./webui.sh --listen --medvram --xformers

API पहुँच के लिए:

./webui.sh --listen --xformers --api

ComfyUI

उन्नत उपयोगकर्ताओं के लिए Node-आधारित वर्कफ़्लो।

इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http
पर्यावरण: CLI_ARGS=--listen 0.0.0.0

वैकल्पिक इमेजें:

# सामान्य एक्सटेंशनों के साथ
छवि: yanwk/comfyui-boot:cu130-megapak-pt211

# न्यूनतम
इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

मैन्युअल सेटअप कमांड:

git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0

Fooocus

सरल SD इंटरफ़ेस, Midjourney जैसा।

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट: 22/tcp, 7865/http
कमांड: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen

FLUX

नवीनतम उच्च-गुणवत्ता छवि निर्माण।

FLUX nodes के साथ ComfyUI का उपयोग करें:

इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http

या Diffusers के माध्यम से:

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

# SSH के बाद
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF

वीडियो निर्माण

स्टेबल वीडियो डिफ्यूज़न

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF

AnimateDiff

ComfyUI के साथ उपयोग करें:

इमेज: yanwk/comfyui-boot:cu130-slim
पोर्ट: 22/tcp, 8188/http

ComfyUI Manager के माध्यम से AnimateDiff nodes इंस्टॉल करें।

ऑडियो और वॉयस

Whisper (प्रतिलेखन)

छवि: onerahmet/openai-whisper-asr-webservice:latest
पोर्ट्स: 22/tcp, 9000/http
पर्यावरण: ASR_MODEL=large-v3

API उपयोग:

curl -X POST "http://localhost:9000/asr" \\
    -F "audio_file=@audio.mp3" \\
    -F "task=transcribe"

Bark (टेक्स्ट-टू-स्पीच)

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF

Stable Audio

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

pip install stable-audio-tools
# मॉडल एक्सेस के लिए HF टोकन आवश्यक है

विज़न मॉडल

LLaVA

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b

Llama 3.2 Vision

Ollama का उपयोग करें:

छवि: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http

ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg

विकास और प्रशिक्षण

PyTorch बेस

कस्टम सेटअप और प्रशिक्षण के लिए।

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

शामिल: CUDA 12.8, cuDNN 9, PyTorch 2.11

Jupyter Lab

ML के लिए इंटरैक्टिव नोटबुक्स।

छवि: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
पोर्ट्स: 22/tcp, 8888/http

या Jupyter के साथ PyTorch बेस का उपयोग करें:

pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser

Kohya प्रशिक्षण

LoRA और मॉडल फाइन-ट्यूनिंग के लिए।

इमेज: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
पोर्ट्स: 22/tcp

git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# प्रशिक्षण स्क्रिप्ट्स का उपयोग करें

बेस इमेज संदर्भ

CUDA बिल्ड को कार्ड से मिलाएँ। RTX 50-श्रृंखला (Blackwell) को CUDA 12.8+ और PyTorch 2.7+ की आवश्यकता है; CUDA 12.4 वाली इमेज उस पर साथ में विफल हो जाती है डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है. पूरी तालिका: CUDA और PyTorch संगतता.

NVIDIA आधिकारिक

इमेज

CUDA

उपयोग-प्रकरण

nvidia/cuda:12.8.1-devel-ubuntu22.04

12.8

CUDA विकास, Turing → Blackwell तक काम करता है

nvidia/cuda:12.8.1-runtime-ubuntu22.04

12.8

केवल CUDA रनटाइम

nvidia/cuda:13.0.3-devel-ubuntu24.04

13.0

सबसे नया; केवल Turing और उससे ऊपर

nvidia/cuda:11.8.0-devel-ubuntu22.04

11.8

पुराने कार्ड (Pascal, पुराने Volta स्टैक्स)

PyTorch आधिकारिक

इमेज

PyTorch

CUDA

कार्ड्स

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

2.11

12.8

डिफ़ॉल्ट। Ampere, Ada, Blackwell

pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

2.13

13.2

Turing और नए

pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

2.10

12.8

Tesla V100 समर्थन वाला अंतिम रिलीज़

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

2.5

12.4

Pascal माइनिंग कार्ड्स

HuggingFace

इमेज

उद्देश्य

huggingface/transformers-pytorch-gpu

Transformers + PyTorch

ghcr.io/huggingface/text-generation-inference

TGI सर्वर

पर्यावरण चर

सामान्य चर

वेरिएबल

विवरण

उदाहरण

HUGGING_FACE_HUB_TOKEN

gated मॉडलों के लिए HF API टोकन

hf_xxx

CUDA_VISIBLE_DEVICES

GPU चयन

0,1

TRANSFORMERS_CACHE

मॉडल कैश निर्देशिका

/root/.cache

Ollama चर

वेरिएबल

विवरण

डिफ़ॉल्ट

OLLAMA_HOST

बाइंड पता

127.0.0.1

OLLAMA_MODELS

मॉडलों की निर्देशिका

~/.ollama/models

OLLAMA_NUM_PARALLEL

समानांतर अनुरोध

1

vLLM चर

वेरिएबल

विवरण

VLLM_ATTENTION_BACKEND

Attention implementation

VLLM_USE_MODELSCOPE

HF के बजाय ModelScope का उपयोग करें

पोर्ट संदर्भ

पोर्ट

प्रोटोकॉल

सेवा

TCP

SSH

7860

HTTP

Gradio (SD WebUI, Fooocus)

7865

HTTP

Fooocus विकल्प

8000

HTTP

vLLM API

8080

HTTP

Open WebUI, TGI

8188

HTTP

ComfyUI

8888

HTTP

Jupyter

9000

HTTP

Whisper API

11434

TCP

Ollama API

सुझाव

स्थायी संग्रहण

रीस्टार्ट के बीच डेटा रखने के लिए volumes माउंट करें:

docker run -v /data/models:/root/.cache/huggingface ...

GPU चयन

मल्टी-GPU सिस्टम के लिए:

docker run --gpus '"device=0,1"' ...
# या
CUDA_VISIBLE_DEVICES=0,1

मेमोरी प्रबंधन

यदि VRAM कम पड़ रही हो:

छोटे मॉडल का उपयोग करें
CPU ऑफलोड सक्षम करें
बैच आकार कम करें
quantized मॉडल (GGUF Q4) का उपयोग करें

अगले चरण

जीपीयू तुलना - सही GPU चुनें
मॉडल संगतता - कहाँ क्या चलता है
त्वरित शुरुआत मार्गदर्शिका - 5 मिनट में शुरू करें

पिछलालागत कैलकुलेटर

अगलाGPU मूल्य और उपलब्धता

अंतिम अपडेट 1 माह पहले

क्या यह उपयोगी था?