Compatibilité des modèles

Matrice de compatibilité des modèles IA et des GPU pour Clore.ai

Guide complet indiquant quels modèles d’IA fonctionnent sur quels GPU sur CLORE.AI.

Trouvez des GPU avec la bonne VRAM à la place de marché CLORE.AI.

Référence rapide

Les configurations multi-GPU de classe 80 Go ne sont pas répertoriées sur la place de marché Clore.ai. Les plus grosses machines répertoriées aujourd’hui sont 4× RTX PRO 6000 Blackwell (96 Go chacune, 380 Go au total) et 8–11× RTX 5090 (32 Go chacune). La capacité A100 / H200 / B200 est proposée en bare metal sur demande. Consultez bare metal sur demande. Consultez Tarifs et disponibilité des GPU avant de dimensionner un déploiement.

Modèles de langage (LLM)

Modèle	Paramètres	VRAM minimale	Recommandé	Quantification
Llama 3.2	1B	2 Go	4 Go	Q4, Q8, FP16
Llama 3.2	3B	4 Go	6 Go	Q4, Q8, FP16
Llama 3.1/3	8B	6 Go	12 Go	Q4, Q8, FP16
Mistral	7B	6 Go	12 Go	Q4, Q8, FP16
Qwen 2.5	7B	6 Go	12 Go	Q4, Q8, FP16
Qwen 2.5	14B	12 Go	16 Go	Q4, Q8
Qwen 2.5	32B	20 Go	24GB	Q4, Q8
Llama 3.1	70B	40 Go	48GB	Q4, Q8
Qwen 2.5	72B	48GB	80 Go	Q4, Q8
Mixtral	8x7B	24GB	48GB	Q4
DeepSeek-V3	671B	320 Go+	640 Go	FP8
DeepSeek-R1	671B	320 Go+	8x H100	FP8, modèle de raisonnement
DeepSeek-R1-Distill	32B	20 Go	2x A100 / RTX 5090	Q4/Q8

Modèles de génération d’images

Modèle	VRAM minimale	Recommandé	Remarques
SD 1.5	4 Go	8 Go	512x512 natif
SD 2.1	6 Go	8 Go	768x768 natif
SDXL	8 Go	12 Go	1024x1024 natif
SDXL Turbo	8 Go	12 Go	1-4 étapes
SD3.5 Large (8B)	16 Go	24GB	1024x1024, qualité avancée
FLUX.1 schnell	12 Go	16 Go	4 étapes, rapide
FLUX.1 dev	16 Go	24GB	20-50 étapes
TRELLIS	16 Go	24 Go (RTX 4090)	Génération 3D à partir d’images

Modèles de génération de vidéo

Modèle	VRAM minimale	Recommandé	Sortie
Stable Video Diffusion	16 Go	24GB	4 s, 576x1024
AnimateDiff	12 Go	16 Go	2-4 s
LTX-Video	16 Go	24 Go (RTX 4090/3090)	5 s, 768x512, très rapide
Wan2.1	24GB	40 Go	5 s, 480p-720p
Hunyuan Video	40 Go	80 Go	5 s, 720p
OpenSora	24GB	40 Go	Variable

Modèles audio

Modèle	VRAM minimale	Recommandé	Tâche
Whisper tiny	1 Go	2 Go	Transcription
Whisper base	1 Go	2 Go	Transcription
Whisper small	2 Go	4 Go	Transcription
Whisper medium	4 Go	6 Go	Transcription
Whisper large-v3	6 Go	10GB	Transcription
Bark	8 Go	12 Go	Synthèse vocale
Stable Audio	8 Go	12 Go	Génération de musique

Modèles de vision et vision-langage

Modèle	VRAM minimale	Recommandé	Tâche
Llama 3.2 Vision 11B	12 Go	16 Go	Compréhension d’images
Llama 3.2 Vision 90B	48GB	80 Go	Compréhension d’images
LLaVA 7B	8 Go	12 Go	QA visuelle
LLaVA 13B	16 Go	24GB	QA visuelle
Qwen2.5-VL 7B	16 Go	24 Go (RTX 4090)	OCR d’images/vidéos/documents
Qwen2.5-VL 72B	48GB	2x A100 80 Go	Capacité VL maximale

Outils de fine-tuning et d’entraînement

Outil / Méthode	VRAM minimale	GPU recommandé	Tâche
Unsloth QLoRA 7B	12 Go	RTX 3090 24 Go	QLoRA 2x plus rapide, faible VRAM
Unsloth QLoRA 13B	16 Go	RTX 4090 24 Go	Fine-tuning rapide
LoRA (standard)	12 Go	RTX 3090	Fine-tuning efficace en paramètres
Fine-tune complet 7B	40 Go	A100 40 Go	Entraînement de qualité maximale

---

Tableaux détaillés de compatibilité

LLM par GPU

GPU	Modèle max (Q4)	Modèle max (Q8)	Modèle max (FP16)
RTX 3060 12 Go	13B	7B	3B
RTX 3070 8 Go	7B	3B	1B
RTX 3080 10 Go	7B	7B	3B
RTX 3090 24 Go	30B	13B	7B
RTX 4070 Ti 12 Go	13B	7B	3B
RTX 4080 16 Go	14B	7B	7B
RTX 4090 24 Go	30B	13B	7B
RTX 5090 32 Go	70B	14B	13B
A100 40 Go	70B	30B	14B
A100 80 Go	70B	70B	30B
H100 80 Go	70B	70B	30B

Génération d’images par GPU

GPU	SD 1.5	SDXL	FLUX schnell	FLUX dev
RTX 3060 12 Go	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3070 8 Go	✅ 512	⚠️ 512	❌	❌
RTX 3080 10 Go	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3090 24 Go	✅ 768	✅ 1024	✅ 1024	⚠️ 768*
RTX 4070 Ti 12 Go	✅ 512	✅ 768	⚠️ 512*	❌
RTX 4080 16 Go	✅ 768	✅ 1024	✅ 768	⚠️ 512*
RTX 4090 24 Go	✅ 1024	✅ 1024	✅ 1024	✅ 1024
RTX 5090 32 Go	✅ 1024	✅ 1024	✅ 1536	✅ 1536
A100 40 Go	✅ 1024	✅ 1024	✅ 1024	✅ 1024
A100 80 Go	✅ 2048	✅ 2048	✅ 1536	✅ 1536

*Avec déchargement CPU ou taille de lot réduite

Génération vidéo par GPU

GPU	SVD	AnimateDiff	Wan2.1	Hunyuan
RTX 3060 12 Go	❌	⚠️ court	❌	❌
RTX 3090 24 Go	✅ 2-4 s	✅	⚠️ 480p	❌
RTX 4090 24 Go	✅ 4 s	✅	✅ 480p	⚠️ court
RTX 5090 32 Go	✅ 6 s	✅	✅ 720p	✅ 5 s
A100 40 Go	✅ 4 s	✅	✅ 720p	✅ 5 s
A100 80 Go	✅ 8 s	✅	✅ 720p	✅ 10 s

---

Guide de quantification

Qu’est-ce que la quantification ?

La quantification réduit la précision du modèle pour tenir dans moins de VRAM :

Format	Bits	Réduction de la VRAM	Perte de qualité
FP32	32	Référence	Aucune
FP16	16	50%	Minime
BF16	16	50%	Minime
FP8	8	75%	Faible
Q8	8	75%	Faible
Q6_K	6	81%	Faible
Q5_K_M	5	84%	Modérée
Q4_K_M	4	87%	Modérée
Q3_K_M	3	91%	Notable
Q2_K	2	94%	Importante

Calculateur de VRAM

Formule : VRAM (Go) ≈ Paramètres (B) × Octets par paramètre

Taille du modèle	FP16	Q8	Q4
1B	2 Go	1 Go	0,5 Go
3B	6 Go	3 Go	1,5 Go
7B	14 Go	7 Go	3,5 Go
8B	16 Go	8 Go	4 Go
13B	26 Go	13 Go	6,5 Go
14B	28 Go	14 Go	7 Go
30B	60 Go	30 Go	15 Go
32B	64 Go	32 Go	16 Go
70B	140 Go	70 Go	35 Go
72B	144 Go	72 Go	36 Go

*Ajoutez environ 20 % pour le cache KV et les frais généraux

Quantification recommandée selon le cas d’usage

Cas d’utilisation	Recommandé	Pourquoi
Chat/Général	Q4_K_M	Bon équilibre entre vitesse et qualité
Codage	Q5_K_M+	Meilleure précision pour le code
Écriture créative	Q4_K_M	La vitesse compte davantage
Analyse	Q6_K+	Une précision plus élevée est nécessaire
Production	FP16/BF16	Qualité maximale

---

Longueur de contexte vs VRAM

Comment le contexte affecte la VRAM

Chaque modèle possède une fenêtre de contexte (nombre maximal de jetons). Un contexte plus long = plus de VRAM :

Modèle	Contexte par défaut	Contexte max	VRAM par 1K jetons
Llama 3 8B	8K	128K	~0,3 Go
Llama 3 70B	8K	128K	~0,5 Go
Qwen 2.5 7B	8K	128K	~0,25 Go
Mistral 7B	8K	32K	~0,25 Go
Mixtral 8x7B	32K	32K	~0,4 Go

Contexte par GPU (Llama 3 8B Q4)

GPU	Contexte confortable	Contexte maximal
RTX 3060 12 Go	16K	32K
RTX 3090 24 Go	64K	96K
RTX 4090 24 Go	64K	96K
RTX 5090 32 Go	96K	128K
A100 40 Go	96K	128K
A100 80 Go	128K	128K

---

Configurations multi-GPU

Parallélisme de tenseur

Répartir un seul modèle sur plusieurs GPU :

Configuration	VRAM totale	Modèle max (FP16)
2x RTX 3090	48GB	30B
2x RTX 4090	48GB	30B
2x RTX 5090	64 Go	32B
4x RTX 5090	128 Go	70B
2x A100 40 Go	80 Go	70B
4x A100 40 Go	160 Go	100B+
8x A100 80 Go	640 Go	DeepSeek-V3

vLLM multi-GPU

# 2 GPU
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 2

# 4 GPU
python -m vllm.entrypoints.openai.api_server \\
    --model meta-llama/Llama-3.1-70B-Instruct \\
    --tensor-parallel-size 4

---

Guides de modèles spécifiques

Famille Llama 3.1

Variante	Paramètres	GPU min.	Configuration recommandée
Llama 3.2 1B	1B	N’importe quel 4 Go	RTX 3060
Llama 3.2 3B	3B	N’importe quel 6 Go	RTX 3060
Llama 3.1 8B	8B	RTX 3060	RTX 3090
Llama 3.1 70B	70B	A100 40 Go	2x A100 40 Go
Llama 3.1 405B	405B	8x A100 80 Go	8x H100

Famille Mistral/Mixtral

Variante	Paramètres	GPU min.	Configuration recommandée
Mistral 7B	7B	RTX 3060	RTX 3090
Mixtral 8x7B	46.7B	RTX 3090	A100 40 Go
Mixtral 8x22B	141B	2x A100 80 Go	4x A100 80 Go

Famille Qwen 2.5

Variante	Paramètres	GPU min.	Configuration recommandée
Qwen 2.5 0.5B	0.5B	N’importe quel 2 Go	N’importe quel 4 Go
Qwen 2.5 1.5B	1.5B	N’importe quel 4 Go	RTX 3060
Qwen 2.5 3B	3B	N’importe quel 6 Go	RTX 3060
Qwen 2.5 7B	7B	RTX 3060	RTX 3090
Qwen 2.5 14B	14B	RTX 3090	RTX 4090
Qwen 2.5 32B	32B	RTX 4090	A100 40 Go
Qwen 2.5 72B	72B	A100 40 Go	A100 80 Go

Modèles DeepSeek

Variante	Paramètres	GPU min.	Configuration recommandée
DeepSeek-Coder 6.7B	6.7B	RTX 3060	RTX 3090
DeepSeek-Coder 33B	33B	RTX 4090	A100 40 Go
DeepSeek-V2-Lite	15.7B	RTX 3090	A100 40 Go
DeepSeek-V3	671B	8x A100 80 Go	8x H100
DeepSeek-R1	671B	8x A100 80 Go	8x H100 (FP8)
DeepSeek-R1-Distill-Qwen-32B	32B	RTX 5090 32 Go	2x A100 40 Go
DeepSeek-R1-Distill-Qwen-7B	7B	RTX 3090 24 Go	RTX 4090

---

Dépannage

« Mémoire CUDA insuffisante »

1. Réduire la quantification : Q8 → Q4

2. Réduire la longueur du contexte : Réduire max_tokens

3. Activer le déchargement CPU : --cpu-offload ou enable_model_cpu_offload()

4. Utiliser un lot plus petit : batch_size=1

5. Essayer un GPU différent : Besoin de plus de VRAM

« Modèle trop volumineux »

1. Utiliser une version quantifiée : Modèles GGUF Q4

2. Utilisez plusieurs GPU : Parallélisme tensoriel

3. Décharger vers le CPU : Plus lent mais fonctionne

4. Choisissez un modèle plus petit : 7B au lieu de 13B

"Génération lente"

1. Améliorez le GPU : Plus de VRAM = moins de déchargement

2. Utilisez une quantification plus rapide : Q4 est plus rapide que Q8

3. Réduisez le contexte : Plus court = plus rapide

4. Activez Flash Attention : --flash-attn

Étapes suivantes

• Guide de comparaison des GPU - Spécifications détaillées des GPU

• Catalogue d'images Docker - Images prêtes à déployer

• Guide de démarrage rapide - Démarrez en 5 minutes