Descripción general

Ejecuta modelos de lenguaje grandes (LLM) en GPU de CLORE.AI para inferencia y aplicaciones de chat.

Herramientas populares

Herramienta	Caso de uso	Dificultad
Ollama	La configuración de LLM más sencilla	Principiante
Open WebUI	Interfaz tipo ChatGPT	Principiante
vLLM	Servicio de producción de alto rendimiento	Medio
Llama.cpp Server	Inferencia GGUF eficiente	Fácil
Text Generation WebUI	Interfaz de chat completa	Fácil
ExLlamaV2	La inferencia EXL2 más rápida	Medio
LocalAI	API compatible con OpenAI	Medio
SGLang	Generación estructurada rápida	Medio
Text Generation Inference (TGI)	Solución de servicio de HuggingFace	Medio
LMDeploy	Kit de herramientas de servicio de MMlab	Medio
Aphrodite Engine	Fork de vLLM con funciones adicionales	Medio
MLC-LLM	Compilación de aprendizaje automático	Difícil
LiteLLM	Proxy de API unificada	Medio
PowerInfer	Inferencia de modelos dispersos	Difícil
Mistral.rs	Motor de inferencia basado en Rust	Medio

Guías de modelos

Últimos y mejores modelos

Modelo	Parámetros	Licencia	Cabe en
Qwen3.8-27B	27B denso	Apache 2.0	1× RTX 4090 (Q4)
Mistral Small 4	119B / 6.5B activos	Apache 2.0	2× RTX 4090 (Q2)
GLM-5.2	~750B / 40B activos	MIT	10× RTX 5090 (Q2)
DeepSeek V4	Flash 167GB · Pro 893GB	MIT	6–8× RTX 5090 (Flash)
MiniMax M3	428B / 23B activos	minimax-community	6–8× RTX 5090 (Q2–Q3)
Nemotron 3 Ultra	550B / 55B activos	OpenMDW-1.1	4× RTX PRO 6000 (NVFP4)
Kimi K3	2.8T	licencia de Kimi K3	Nada en el mercado
GLM-5.1	744B / 40B activos	MIT	Equipos grandes
Llama 4	Scout y Maverick	Comunidad Llama	1× RTX 4090 (Scout Q4)
DeepSeek-R1	671B MoE	MIT	Equipos grandes
Qwen2.5	0.5B–72B	Apache 2.0	Cualquier tarjeta

Modelos especializados

Modelo	Parámetros	Ideal para
DeepSeek Coder	6.7B-33B	Generación de código
CodeLlama	7B-34B	Autocompletado de código
GLM-4.7-Flash	4.7B	Chino/inglés rápido
GLM-5	Por anunciar	Lo último de Zhipu AI
Kimi K2.5	Por anunciar	Modelo de Moonshot AI
Ling-2.5-1T	1T	LLM de código abierto masivo
LFM2-24B	24B	Modelo de Liquid AI
MiMo-V2-Flash	Por anunciar	Modelo de inferencia rápida

Modelos eficientes

Modelo	Parámetros	Ideal para
Gemma 2	2B-27B	Inferencia eficiente
Gemma 3	Por anunciar	Lo más reciente y compacto de Google
Phi-4	14B	Pequeño pero capaz
Mistral/Mixtral	7B / 8x7B	Uso general
Mistral Large 3	675B MoE	De nivel empresarial
Mistral Small 3.1	Por anunciar	Variante eficiente de Mistral

Recomendaciones de GPU

Los equipos multinodo de clase 80GB no aparecen listados en el marketplace de Clore.ai. Los equipos más grandes listados hoy son 4× RTX PRO 6000 Blackwell (96GB cada una, 380GB en total) y 8–11× RTX 5090 (32GB cada una). La capacidad A100 / H200 / B200 se vende como bare metal bajo pedido. Consulta Precios y disponibilidad de GPU antes de dimensionar un despliegue.

Tamaño del modelo	GPU mínima	Recomendado	Coste en Clore.ai
7B (Q4)	RTX 3060 12GB	RTX 3090	$0.03–0.21/hr
13B (Q4)	RTX 3090 24GB	RTX 4090	$0.07–0.42/hr
27B (Q4)	RTX 3090 24GB	RTX 4090 / 5090	$0.07–0.77/hr
34B (Q4)	2× RTX 3090	1× RTX 5090	$0.14–0.77/hr
70B (Q4)	2× RTX 5090	1× RTX PRO 6000 96GB	$0.50–1.54/h
120B+ (Q2)	2× RTX 4090	2× RTX 5090	$0.28–1.54/hr
400B+ (Q2)	8× RTX 5090	4× RTX PRO 6000	~$2.00–5.00/hr

Guía de cuantización

Formato	Uso de VRAM	Calidad	Velocidad
Q2_K	Más bajo	Deficiente	Más rápido
Q4_K_M	Baja	Bueno	Rápido
Q5_K_M	Medio	Excelente	Medio
Q8_0	Alta	Excelente	Más lento
FP16	Máxima	Mejor	El más lento

Ver también

• Entrenamiento y ajuste fino

• Modelos de visión y lenguaje