Llama 4 (Scout и Maverick)

Запустите модели Meta Llama 4 Scout и Maverick MoE на GPU Clore.ai

Llama 4 от Meta, выпущенная в апреле 2025 года, знаменует собой фундаментальный переход к Смесь экспертов (MoE) архитектуре. Вместо активации всех параметров для каждого токена Llama 4 направляет каждый токен в специализированные подсети «экспертов», обеспечивая передовую производительность при доле вычислительных затрат. Доступны две модели с открытыми весами: Scout (идеально для одной GPU) и Maverick (мощная конфигурация для нескольких GPU).

Ключевые особенности

• Архитектура MoE: Активно только 17B параметров на токен (из 109B/400B всего)

• Огромные окна контекста: Scout поддерживает 10M токенов, Maverick поддерживает 1M токенов

• Нативно мультимодальная: Понимает и текст, и изображения сразу из коробки

• Две модели: Scout (16 экспертов, удобен для одной GPU) и Maverick (128 экспертов, для нескольких GPU)

• Конкурентоспособная производительность: Scout сопоставим с Gemma 3 27B; Maverick конкурирует с моделями класса GPT-4o

• Открытые веса: Лицензия сообщества Llama (бесплатно для большинства коммерческих применений)

Варианты модели

Модель	Всего параметров	Активные параметры	Эксперты	Контекст	Мин. VRAM (Q4)	Мин. VRAM (FP16)
Scout	109B	17B	16	10M	12GB	80 ГБ
Maverick	400B	17B	128	1M	48 ГБ (несколько)	320 ГБ (несколько)

Требования

Компонент	Scout (Q4)	Scout (FP16)	Maverick (Q4)
GPU	1× RTX 4090	1× H100	4× RTX 4090
VRAM	24 ГБ	80 ГБ	4×24GB
ОЗУ	32GB	64GB	128 ГБ
Диск	50 ГБ	120 ГБ	250 ГБ
CUDA	12.8+	12.8+	12.8+

Рекомендуемая GPU от Clore.ai: RTX 4090 24 ГБ ($0.14–0.42/ч) для Scout — лучшее соотношение цены и качества

Быстрый старт с Ollama

Самый быстрый способ запустить Llama 4:

# Установите Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Запуск Scout (квантованная, ~12 ГБ VRAM)
ollama run llama4-scout

# Для более длинного контекста (использует больше VRAM)
ollama run llama4-scout --ctx-size 32768

Ollama как API-сервер

# Запустить сервер в фоновом режиме
ollama serve &

# Скачать модель
ollama pull llama4-scout

# Запрос через API, совместимый с OpenAI
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \\
  -d '{
    "model": "llama4-scout",
    "messages": [{"role": "user", "content": "Объясните архитектуру MoE в 3 предложениях"}]
  }'

Настройка vLLM (production)

Для production-нагрузок с более высокой пропускной способностью:

# Установить vLLM
pip install vllm

# Развернуть Scout на одной GPU (квантованная версия)
vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90

# Развернуть Scout на 2 GPU (более длинный контекст)
vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct \
  --tensor-parallel-size 2 \
  --max-model-len 128000 \
  --gpu-memory-utilization 0.90

# Развернуть Maverick на 4 GPU
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct \
  --tensor-parallel-size 4 \
  --max-model-len 65536

Запрос к серверу vLLM

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

response = client.chat.completions.create(
    model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
    messages=[
        {"role": "system", "content": "Вы — полезный помощник."},
        {"role": "user", "content": "Напишите функцию на Python для вычисления чисел Фибоначчи"}
    ],
    temperature=0.7,
    max_tokens=1024
)
print(response.choices[0].message.content)

HuggingFace Transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "meta-llama/Llama-4-Scout-17B-16E-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    load_in_4bit=True  # 4-битная квантовка для GPU с 24 ГБ
)

messages = [
    {"role": "system", "content": "Вы — полезный ассистент по программированию."},
    {"role": "user", "content": "Напишите REST API на FastAPI, который управляет списком задач"}
]

input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output = model.generate(input_ids, max_new_tokens=2048, temperature=0.7, do_sample=True)
print(tokenizer.decode(output[0][input_ids.shape[-1]:], skip_special_tokens=True))

Быстрый старт с Docker

# Использование Docker-образа vLLM
docker run --gpus all -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \\
  --model meta-llama/Llama-4-Scout-17B-16E-Instruct \
  --max-model-len 32768

Почему MoE важна на Clore.ai

Традиционные плотные модели (например, Llama 3.3 70B) требуют огромного объёма VRAM, потому что активны все 70B параметров. У Llama 4 Scout всего 109B параметров, но на токен активируется только 17B — это означает:

• То же качество, что у плотных моделей 70B+ при доле затрат на VRAM

• Помещается на одной RTX 4090 в квантованном режиме

• Контекст на 10M токенов — обрабатывать целые кодовые базы, длинные документы, книги

• Дешевле арендовать — одна RTX 4090 за $0.14–0.42/ч вместо многопроцессорной установки для моделей 70B

Советы для пользователей Clore.ai

• Начните с Scout Q4: Лучшее соотношение цены и качества на RTX 4090 — $0.14–0.42/ч, покрывает 95% случаев использования

• Используйте --max-model-len с умом: Не задавайте контекст выше необходимого — это резервирует VRAM. Начните с 8192 и увеличивайте по мере необходимости

• Тензорный параллелизм для Maverick: Арендуйте машины с 4× RTX 4090 для Maverick; используйте --tensor-parallel-size 4

• Требуется вход в HuggingFace: huggingface-cli login — сначала нужно принять лицензию Llama на HF

• Ollama для быстрых тестов, vLLM для production: Ollama быстрее настраивается; vLLM обеспечивает более высокую пропускную способность для обслуживания API

• Следите за памятью GPU: watch nvidia-smi — модели MoE могут резко увеличивать потребление VRAM на длинных последовательностях

Устранение неполадок

Проблема	Решение
OutOfMemoryError	Уменьшите --max-model-len, используйте Q4-квантование или обновите GPU
Сбой загрузки модели	Запускайте huggingface-cli login и примите лицензию Llama 4 на hf.co
Медленная генерация	Убедитесь, что используется GPU (nvidia-smi); проверьте --gpu-memory-utilization
vLLM аварийно завершает работу при запуске	Уменьшите длину контекста; убедитесь, что установлен CUDA 11.8+
Ollama показывает неверную модель	Запускайте ollama list для проверки; ollama rm + ollama pull чтобы скачать заново

Дополнительное чтение

• Пост в блоге Meta Llama 4

• Карточка модели HuggingFace

• Документация vLLM

• Библиотека моделей Ollama