Aperçu

Exécutez de grands modèles de langage (LLM) sur les GPU CLORE.AI pour l'inférence et les applications de chat.

Outils populaires

Outil	Cas d’utilisation	Difficulté
Ollama	Configuration LLM la plus simple	Débutant
Open WebUI	Interface de type ChatGPT	Débutant
vLLM	Service de production à haut débit	Moyen
Llama.cpp Server	Inférence GGUF efficace	Facile
Text Generation WebUI	Interface de chat complète	Facile
ExLlamaV2	Inférence EXL2 la plus rapide	Moyen
LocalAI	API compatible avec OpenAI	Moyen
SGLang	Génération structurée rapide	Moyen
Text Generation Inference (TGI)	Solution de service HuggingFace	Moyen
LMDeploy	Boîte à outils de service MMlab	Moyen
Aphrodite Engine	Fork de vLLM avec des fonctionnalités supplémentaires	Moyen
MLC-LLM	Compilation pour l'apprentissage automatique	Difficile
LiteLLM	Proxy d'API unifiée	Moyen
PowerInfer	Inférence de modèle creux	Difficile
Mistral.rs	Moteur d'inférence basé sur Rust	Moyen

Guides des modèles

Modèles les plus récents et les meilleurs

Modèle	Paramètres	Licence	Tient sur
Qwen3.8-27B	27B dense	Apache 2.0	1× RTX 4090 (Q4)
Mistral Small 4	119B / 6.5B actifs	Apache 2.0	2× RTX 4090 (Q2)
GLM-5.2	~750B / 40B actifs	MIT	10× RTX 5090 (Q2)
DeepSeek V4	Flash 167GB · Pro 893GB	MIT	6–8× RTX 5090 (Flash)
MiniMax M3	428B / 23B actifs	minimax-community	6–8× RTX 5090 (Q2–Q3)
Nemotron 3 Ultra	550B / 55B actifs	OpenMDW-1.1	4× RTX PRO 6000 (NVFP4)
Kimi K3	2.8T	Licence Kimi K3	Rien sur la place de marché
GLM-5.1	744B / 40B actifs	MIT	Grosses configurations
Llama 4	Scout et Maverick	Communauté Llama	1× RTX 4090 (Scout Q4)
DeepSeek-R1	671B MoE	MIT	Grosses configurations
Qwen2.5	0.5B–72B	Apache 2.0	N’importe quelle carte

Modèles spécialisés

Modèle	Paramètres	Idéal pour
DeepSeek Coder	6.7B-33B	Génération de code
CodeLlama	7B-34B	Complétion de code
GLM-4.7-Flash	4.7B	Rapide en chinois/anglais
GLM-5	À venir	Dernier modèle de Zhipu AI
Kimi K2.5	À venir	Modèle de Moonshot AI
Ling-2.5-1T	1T	LLM open source massif
LFM2-24B	24B	Modèle Liquid AI
MiMo-V2-Flash	À venir	Modèle d’inférence rapide

Modèles efficaces

Modèle	Paramètres	Idéal pour
Gemma 2	2B-27B	Inférence efficace
Gemma 3	À venir	Dernier modèle compact de Google
Phi-4	14B	Petit mais performant
Mistral/Mixtral	7B / 8x7B	Usage général
Mistral Large 3	MoE 675B	De niveau entreprise
Mistral Small 3.1	À venir	Variante Mistral efficace

Recommandations GPU

Les configurations multi-GPU de classe 80 Go ne sont pas répertoriées sur la place de marché Clore.ai. Les plus grosses machines répertoriées aujourd’hui sont 4× RTX PRO 6000 Blackwell (96 Go chacune, 380 Go au total) et 8–11× RTX 5090 (32 Go chacune). La capacité A100 / H200 / B200 est proposée en bare metal sur demande. Consultez bare metal sur demande. Consultez Tarifs et disponibilité des GPU avant de dimensionner un déploiement.

Taille du modèle	GPU minimum	Recommandé	Coût Clore.ai
7B (Q4)	RTX 3060 12 Go	RTX 3090	0,03–0,21 $/h
13B (Q4)	RTX 3090 24 Go	RTX 4090	0,07–0,42 $/h
27B (Q4)	RTX 3090 24 Go	RTX 4090 / 5090	0,07–0,77 $/h
34B (Q4)	2× RTX 3090	1× RTX 5090	0,14–0,77 $/h
70B (Q4)	2× RTX 5090	1× RTX PRO 6000 96GB	0,50–1,54 $/h
120B+ (Q2)	2× RTX 4090	2× RTX 5090	0,28–1,54 $/h
400B+ (Q2)	8× RTX 5090	4× RTX PRO 6000	~2,00–5,00 $/h

Guide de quantification

Format	Utilisation de la VRAM	Qualité	Vitesse
Q2_K	La plus faible	Médiocre	La plus rapide
Q4_K_M	Faible	Bon	Rapide
Q5_K_M	Moyen	Excellent	Moyen
Q8_0	Élevée	Excellente	Plus lent
FP16	La plus élevée	Meilleur	Le plus lent

Voir aussi

• Entraînement et fine-tuning

• Modèles vision-langage