For the complete documentation index, see llms.txt. This page is also available as Markdown.

Images Docker

Images Docker prêtes à déployer pour les charges de travail IA sur Clore.ai

Images Docker prêtes à déployer pour des charges de travail IA sur CLORE.AI.

Référence de déploiement rapide

Les plus populaires

Tâche
Image
Ports

Discuter avec l’IA

ollama/ollama

22, 11434

Interface de type ChatGPT

ghcr.io/open-webui/open-webui

22, 8080

Génération d’images

universonic/stable-diffusion-webui

22, 7860

Génération d’images basée sur des nœuds

yanwk/comfyui-boot

22, 8188

Serveur API LLM

vllm/vllm-openai

22, 8000


Modèles de langage

Ollama

Exécuteur LLM universel - la façon la plus simple d’exécuter n’importe quel modèle.

Image : ollama/ollama
Ports : 22/tcp, 11434/http
Commande : ollama serve

Après le déploiement :

Variables d'environnement :


Open WebUI

Interface de type ChatGPT pour Ollama.

Inclut Ollama intégré. Accès via le port HTTP.

Autonome (connexion à un Ollama existant) :


vLLM

Serveur LLM haute performance avec API compatible OpenAI.

Pour les modèles plus volumineux (multi-GPU) :

Variables d'environnement :


Text Generation Inference (TGI)

Serveur LLM de production de HuggingFace.

Variables d'environnement :


Génération d’images

Stable Diffusion WebUI (AUTOMATIC1111)

Interface SD la plus populaire avec extensions.

Pour une faible VRAM (8 Go ou moins) :

Pour l’accès à l’API :


ComfyUI

Flux de travail basé sur des nœuds pour les utilisateurs avancés.

Images alternatives :

Commande d’installation manuelle :


Fooocus

Interface SD simplifiée, de type Midjourney.


FLUX

Dernière génération d’images de haute qualité.

Utilisez ComfyUI avec les nœuds FLUX :

Ou via Diffusers :


Génération vidéo

Stable Video Diffusion


AnimateDiff

À utiliser avec ComfyUI :

Installez les nœuds AnimateDiff via ComfyUI Manager.


Audio et voix

Whisper (transcription)

Utilisation de l’API :


Bark (synthèse vocale)


Stable Audio


Modèles de vision

LLaVA


Llama 3.2 Vision

Utilisez Ollama :


Développement et entraînement

Base PyTorch

Pour des configurations personnalisées et l’entraînement.

Inclut : CUDA 12.8, cuDNN 9, PyTorch 2.11


Jupyter Lab

Carnets interactifs pour le ML.

Ou utilisez la base PyTorch avec Jupyter :


Entraînement Kohya

Pour LoRA et le fine-tuning des modèles.


Référence des images de base

Officiel NVIDIA

Image
CUDA
Cas d’utilisation

nvidia/cuda:12.8.1-devel-ubuntu22.04

12.8

Développement CUDA, fonctionne de Turing à Blackwell

nvidia/cuda:12.8.1-runtime-ubuntu22.04

12.8

CUDA runtime uniquement

nvidia/cuda:13.0.3-devel-ubuntu24.04

13.0

La plus récente ; uniquement Turing et plus récent

nvidia/cuda:11.8.0-devel-ubuntu22.04

11.8

Cartes héritées (Pascal, anciennes générations Volta)

Officiel PyTorch

Image
PyTorch
CUDA
Cartes

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

2.11

12.8

Par défaut. Ampere, Ada, Blackwell

pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

2.13

13.2

Turing et plus récent

pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

2.10

12.8

Dernière version avec prise en charge de Tesla V100

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

2.5

12.4

Cartes de minage Pascal

HuggingFace

Image
Objectif

huggingface/transformers-pytorch-gpu

Transformers + PyTorch

ghcr.io/huggingface/text-generation-inference

Serveur TGI


Variables d’environnement

Variables courantes

Variable
Description
Exemple

HUGGING_FACE_HUB_TOKEN

Jeton API HF pour les modèles soumis à restriction

hf_xxx

CUDA_VISIBLE_DEVICES

Sélection du GPU

0,1

TRANSFORMERS_CACHE

Répertoire du cache des modèles

/root/.cache

Variables Ollama

Variable
Description
Par défaut

OLLAMA_HOST

Adresse de liaison

127.0.0.1

OLLAMA_MODELS

Répertoire des modèles

~/.ollama/models

OLLAMA_NUM_PARALLEL

Requêtes parallèles

1

Variables vLLM

Variable
Description

VLLM_ATTENTION_BACKEND

Implémentation de l’attention

VLLM_USE_MODELSCOPE

Utiliser ModelScope à la place de HF


Référence des ports

Port
Protocole
Service

22

TCP

SSH

7860

HTTP

Gradio (SD WebUI, Fooocus)

7865

HTTP

Alternative à Fooocus

8000

HTTP

API vLLM

8080

HTTP

Open WebUI, TGI

8188

HTTP

ComfyUI

8888

HTTP

Jupyter

9000

HTTP

API Whisper

11434

TCP

API Ollama


Conseils

Stockage persistant

Montez des volumes pour conserver les données entre les redémarrages :

Sélection des GPU

Pour les systèmes multi-GPU :

Gestion de la mémoire

Si la VRAM vient à manquer :

  1. Utilisez des modèles plus petits

  2. Activez le déchargement vers le CPU

  3. Réduire la taille du lot

  4. Utilisez des modèles quantifiés (GGUF Q4)

Étapes suivantes

Mis à jour

Ce contenu vous a-t-il été utile ?