LFM2-24B-A2B

Разверните LFM2-24B-A2B от Liquid AI на Clore.ai — гибридная архитектура SSM+Attention с 24B общих / 2B активных параметров

LFM2-24B-A2B представляет собой прорыв в эффективном языковом моделировании благодаря гибридному подходу Liquid AI Модель пространств состояний + Attention архитектуре. При 24 млрд параметров в целом, но лишь 2 млрд активных на токен, она демонстрирует впечатляющие показатели, требуя всего около ~6 ГБ видеопамяти для вывода в FP16. Модель достигает примерно 350 ток/с на RTX 4090, что делает её одной из самых быстрых больших языковых моделей.

Кратко

• Размер модели: 24B всего / 2B активных параметров (гибрид SSM+Attention)

• Лицензия: Открытая лицензия Liquid AI (бесплатно для некоммерческого использования, доступна коммерческая лицензия)

• Контекст: 32K токенов

• Производительность: Конкурентоспособна с плотными моделями 7B-13B

• Видеопамять: ~6 ГБ FP16, ~3 ГБ INT8

• Скорость: ~350 ток/с на RTX 4090, ~200 ток/с на RTX 3090

Почему LFM2-24B-A2B?

Революционная архитектура: LFM2-24B-A2B сочетает модели пространств состояний (SSM) с селективными механизмами внимания. SSM эффективно обрабатывают последовательности, в то время как слои внимания фокусируются на сложных рассуждениях. Этот гибридный подход обеспечивает качество крупной модели при эффективности малой.

Исключительная скорость: Конструкция с 2B активных параметров обеспечивает молниеносный вывод. В отличие от традиционных моделей, где активируются все параметры, LFM2 выборочно задействует только необходимые компоненты, что даёт более 350 токенов в секунду на потребительском оборудовании.

Эффективность по памяти: При всего 6 ГБ VRAM для FP16 LFM2-24B-A2B уверенно работает на GPU среднего уровня. Это делает её идеальной для развёртывания на периферии, в средах разработки и для производственных решений с ограниченным бюджетом.

Инновации Liquid AI: Разработанная Liquid AI (основана исследователями MIT), LFM2 представляет передовые исследования в нейронной архитектуре. Гибридный дизайн SSM+Attention может стать будущим эффективного языкового моделирования.

Примечание по лицензированию: Открытая лицензия Liquid AI разрешает бесплатное некоммерческое использование. Коммерческое развёртывание требует отдельной лицензии от Liquid AI. Это не MIT — проверьте условия лицензирования перед использованием в продакшене.

Рекомендации по GPU

GPU	Видеопамять	Производительность	Ежедневная стоимость*
RTX 3060 12GB	12 ГБ	~180 ток/с	~$0.80
RTX 3070	8 ГБ	~220 ток/с	~$0.90
RTX 4060 Ti	16 ГБ	~300 ток/с	~$1.20
RTX 4090	24 ГБ	~350 ток/с	~$2.10
RTX 3090	24 ГБ	~200 ток/с	~$1.10
A100 40GB	40 ГБ	~400 ток/с	~$3.50

Лучшее соотношение цена/производительность: RTX 4060 Ti 16GB предлагает отличную производительность за свои деньги. Максимальная скорость: RTX 4090 раскрывает весь потенциал LFM2.

*Оценочные цены на рынке Clore.ai

Развёртывание с vLLM

Установите vLLM

pip install vllm>=0.6.0
# или последнюю версию
pip install git+https://github.com/vllm-project/vllm.git

Настройка для одного GPU

vllm serve liquid-ai/LFM2-24B-A2B \
  --model liquid-ai/LFM2-24B-A2B \
  --tensor-parallel-size 1 \
  --dtype float16 \
  --max-model-len 32768 \
  --served-model-name lfm2-24b \
  --trust-remote-code \
  --disable-log-stats

Запрос к серверу

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1", 
    api_key="EMPTY"
)

response = client.chat.completions.create(
    model="lfm2-24b",
    messages=[
        {"role": "system", "content": "Вы полезный AI-ассистент, специализирующийся на технических объяснениях."},
        {"role": "user", "content": "Объясните различия между моделями пространств состояний и традиционными трансформерами"}
    ],
    max_tokens=1024,
    temperature=0.7
)

print(response.choices[0].message.content)

Развёртывание с Ollama

Ollama предоставляет самый простой путь для развёртывания:

# Установите Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Загрузите модель LFM2
ollama pull liquid-ai/lfm2:24b

# Запустите интерактивно
ollama run liquid-ai/lfm2:24b

# Режим API
ollama serve

Использование Ollama API

import requests

# Простой completion
response = requests.post('http://localhost:11434/api/generate',
    json={
        'model': 'liquid-ai/lfm2:24b',
        'prompt': 'Напишите функцию на Python для вычисления чисел Фибоначчи с использованием мемоизации',
        'stream': False
    }
)

print(response.json()['response'])

# Формат чата
chat_response = requests.post('http://localhost:11434/api/chat',
    json={
        'model': 'liquid-ai/lfm2:24b',
        'messages': [
            {'role': 'user', 'content': 'Объясните квантовую запутанность простыми словами'}
        ],
        'stream': False
    }
)

print(chat_response.json()['message']['content'])

Шаблон Docker

FROM nvidia/cuda:12.1-devel-ubuntu22.04

# Установите Python 3.10
RUN apt-get update && apt-get install -y \
    python3.10 python3-pip curl && \
    rm -rf /var/lib/apt/lists/*

# Установите vLLM
RUN pip install vllm>=0.6.0 transformers

# Установите переменные окружения
ENV PYTHONUNBUFFERED=1

# Предварительная загрузка модели (опционально)
# RUN python3 -c "from transformers import AutoModel; AutoModel.from_pretrained('liquid-ai/LFM2-24B-A2B', trust_remote_code=True)"

EXPOSE 8000

CMD ["vllm", "serve", "liquid-ai/LFM2-24B-A2B", \
     "--host", "0.0.0.0", \
     "--port", "8000", \
     "--dtype", "float16", \
     "--max-model-len", "16384", \
     "--trust-remote-code"]

Соберите и запустите:

docker build -t lfm2-24b .
docker run --gpus all -p 8000:8000 lfm2-24b

Бенчмарк скорости

Проверьте исключительную скорость вывода LFM2:

import time
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

def speed_test():
    prompts = [
        "Объясните машинное обучение в одном абзаце",
        "Напишите быструю реализацию алгоритма сортировки на Python",
        "Опишите преимущества возобновляемых источников энергии",
        "Какова столица Франции и почему она важна?",
        "Создайте простую структуру HTML-страницы"
    ]
    
    total_tokens = 0
    total_time = 0
    
    for prompt in prompts:
        start_time = time.time()
        
        response = client.chat.completions.create(
            model="lfm2-24b",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
            temperature=0.1
        )
        
        end_time = time.time()
        
        tokens = len(response.choices[0].message.content.split())
        duration = end_time - start_time
        
        total_tokens += tokens
        total_time += duration
        
        print(f"Prompt: {prompt[:30]}...")
        print(f"Tokens: {tokens}, Time: {duration:.2f}s, Speed: {tokens/duration:.1f} tok/s\n")
    
    avg_speed = total_tokens / total_time
    print(f"Average speed: {avg_speed:.1f} tokens/second")
    return avg_speed

# Запустите тест скорости
speed_test()

Квантование для уменьшения VRAM

Для GPU с ограниченной видеопамятью используйте квантизированные версии:

Квантование GPTQ

# Установите auto-gptq
pip install auto-gptq

# Используйте квантизованную модель (сокращает до ~3 ГБ VRAM)
vllm serve liquid-ai/LFM2-24B-A2B-GPTQ \
  --model liquid-ai/LFM2-24B-A2B-GPTQ \
  --quantization gptq \
  --dtype float16 \
  --max-model-len 16384

Квантование AWQ

# Установите autoawq
pip install autoawq

# Используйте модель, квантизованную AWQ
vllm serve liquid-ai/LFM2-24B-A2B-AWQ \
  --model liquid-ai/LFM2-24B-A2B-AWQ \
  --quantization awq \
  --dtype float16

Расширенная конфигурация

Настройка с оптимизацией памяти

Для GPU с 8 ГБ:

vllm serve liquid-ai/LFM2-24B-A2B \
  --model liquid-ai/LFM2-24B-A2B \
  --dtype float16 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.85 \
  --swap-space 4 \
  --trust-remote-code

Настройка для высокой пропускной способности

Для производственных нагрузок:

vllm serve liquid-ai/LFM2-24B-A2B \
  --model liquid-ai/LFM2-24B-A2B \
  --tensor-parallel-size 1 \
  --max-num-seqs 32 \
  --max-num-batched-tokens 8192 \
  --dtype float16 \
  --trust-remote-code

Преимущества архитектуры SSM

Гибрид SSM+Attention LFM2 предоставляет уникальные преимущества:

Линейное масштабирование: SSM масштабируются линейно по длине последовательности, в то время как традиционные трансформеры масштабируются квадратично. Это обеспечивает эффективную обработку длинного контекста.

Селективное внимание: Только критические токены инициируют полные механизмы внимания, снижая вычислительную нагрузку.

Эффективность по памяти: Конструкция с 2B активных параметров означает, что большая часть из 24B параметров остаётся неактивной во время вывода, что значительно снижает требования к пропускной способности памяти.

Быстрая последовательная обработка: SSM превосходны в последовательных задачах, таких как генерация текста, достигая большей пропускной способности, чем чистые механизмы внимания.

Советы для пользователей Clore.ai

• Ориентация на один GPU: LFM2-24B-A2B оптимизирована для развёртывания на одном GPU. Мульти-GPU конфигурации не дают значительных преимуществ.

• Длина контекста: Используйте более короткие контексты (8K-16K) для максимальной скорости. Более длинные контексты уменьшают преимущество эффективности SSM.

• Настройки температуры: Низкие температуры (0.1-0.3) максимизируют скорость вывода за счёт снижения неопределённости.

• Размер батча: Увеличивайте размер батча для нескольких параллельных запросов, вместо использования нескольких GPU.

• Соответствие лицензии: Уточните требования коммерческого лицензирования у Liquid AI перед развёртыванием в продакшене.

Устранение неполадок

Проблема	Решение
ImportError: liquid_transformers	Установите: pip install git+https://github.com/LiquidAI-project/liquid-transformers.git
Медленный запуск	Предварительно загрузите: huggingface-cli download liquid-ai/LFM2-24B-A2B
OutOfMemoryError	Используйте квантизованную версию или уменьшите max-model-len
Низкое качество ответов	Проверьте ограничения лицензии — некоторые версии модели имеют ограниченные возможности
Ошибки слоя SSM	Обновите transformers: pip install transformers>=4.45.0

Сравнение производительности

Модель	Активные параметры	VRAM (FP16)	Скорость (RTX 4090)
Llama 3.2 3B	3B	~6 ГБ	~280 ток/с
Qwen2.5 7B	7B	~14 ГБ	~180 ток/с
LFM2-24B-A2B	2B	~6 ГБ	~350 ток/с
Mistral 7B	7B	~14 ГБ	~200 ток/с
Phi-3.5 3.8B	3.8B	~8 ГБ	~250 ток/с

LFM2-24B-A2B достигает наилучшего соотношения скорость/VRAM в своём классе.

Ресурсы

• LFM2-24B-A2B на Hugging Face

• Компания Liquid AI

• Статья об архитектуре SSM

• Лицензирование Liquid AI

• Поддержка SSM в vLLM