LFM2-24B-A2B

Разверните LFM2-24B-A2B от Liquid AI на Clore.ai — гибридная архитектура SSM+Attention с 24B всего / 2B активных параметров

LFM2-24B-A2B представляет собой прорыв в эффективном языковом моделировании благодаря гибридной Модель пространства состояний + внимание архитектуре. Имея 24B общих параметров, но только 2B активных на токен, она обеспечивает впечатляющую производительность, при этом для FP16-инференса требуется всего ~6 ГБ VRAM. Модель достигает ~350 tok/s на RTX 4090, что делает её одной из самых быстрых доступных больших языковых моделей.

Сводка

• Размер модели: 24B общих / 2B активных параметров (гибрид SSM+Attention)

• Лицензия: Лицензия Liquid AI Open License (бесплатно для некоммерческого использования, коммерческая лицензия доступна)

• Контекст: 32K токенов

• Производительность: конкурентоспособна с плотными моделями 7B-13B

• VRAM: ~6 ГБ FP16, ~3 ГБ INT8

• Скорость: ~350 tok/s на RTX 4090, ~200 tok/s на RTX 3090

Почему LFM2-24B-A2B?

Революционная архитектура: LFM2-24B-A2B сочетает модели пространства состояний (SSM) с механизмами селективного внимания. SSM эффективно обрабатывают последовательности, а слои внимания фокусируются на сложном рассуждении. Этот гибридный подход обеспечивает качество большой модели при эффективности маленькой.

Исключительная скорость: Конструкция с 2B активных параметров обеспечивает молниеносный инференс. В отличие от традиционных моделей, где активируются все параметры, LFM2 выборочно задействует только необходимые компоненты, обеспечивая 350+ токенов в секунду на потребительском железе.

Эффективность по памяти: При всего 6 ГБ VRAM для FP16 LFM2-24B-A2B комфортно работает на GPU среднего уровня. Это делает его идеальным для edge-развертывания, сред разработки и экономичных производственных конфигураций.

Инновации Liquid AI: Разработанный Liquid AI (основанной исследователями MIT), LFM2 представляет собой передовые исследования в области нейросетевой архитектуры. Гибридная конструкция SSM+Attention может стать будущим эффективного языкового моделирования.

Примечание о лицензии: Лицензия Liquid AI Open License разрешает бесплатное некоммерческое использование. Коммерческое развертывание требует отдельной лицензии от Liquid AI. Это не MIT — проверьте условия лицензии перед использованием в production.

Рекомендации по GPU

GPU	VRAM	Производительность	Ежедневная стоимость*
RTX 3060 12GB	12GB	~180 ток/с	~$0.80
RTX 3070	8 ГБ	~220 ток/с	~$0.90
RTX 4060 Ti	16GB	~300 ток/с	~$1.20
RTX 4090	24 ГБ	~350 ток/с	~$2.10
RTX 3090	24 ГБ	~200 ток/с	~$1.10
A100 40 ГБ	40 ГБ	~400 ток/с	~$3.50

Лучшее соотношение цены и качества: RTX 4060 Ti 16 ГБ предлагает отличное соотношение производительности к цене. Максимальная скорость: RTX 4090 раскрывает весь потенциал LFM2.

*Оценочные цены на маркетплейсе Clore.ai

Развертывание с vLLM

Установите vLLM

pip install vllm>=0.6.0
# или последнюю версию
pip install git+https://github.com/vllm-project/vllm.git

Настройка на одной GPU

vllm serve liquid-ai/LFM2-24B-A2B \\
  --model liquid-ai/LFM2-24B-A2B \\
  --tensor-parallel-size 1 \\
  --dtype float16 \\
  --max-model-len 32768 \
  --served-model-name lfm2-24b \\
  --trust-remote-code \\
  --disable-log-stats

Обратиться к серверу

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1", 
    api_key="EMPTY"
)

response = client.chat.completions.create(
    model="lfm2-24b",
    messages=[
        {"role": "system", "content": "Вы — полезный AI-ассистент, специализирующийся на технических объяснениях."},
        {"role": "user", "content": "Объясните различия между моделями пространства состояний и традиционными трансформерами"}
    ],
    max_tokens=1024,
    temperature=0.7
)

print(response.choices[0].message.content)

Развертывание с Ollama

Ollama предоставляет самый простой путь развертывания:

# Установите Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Скачать модель LFM2
ollama pull liquid-ai/lfm2:24b

# Запустить интерактивно
ollama run liquid-ai/lfm2:24b

# Режим API
ollama serve

Использование API Ollama

import requests

# Простое завершение
response = requests.post('http://localhost:11434/api/generate',
    json={
        'model': 'liquid-ai/lfm2:24b',
        'prompt': 'Напишите функцию на Python для вычисления чисел Фибоначчи с использованием мемоизации',
        'stream': False
    }
)

print(response.json()['response'])

# Формат чата
chat_response = requests.post('http://localhost:11434/api/chat',
    json={
        'model': 'liquid-ai/lfm2:24b',
        'messages': [
            {'role': 'user', 'content': 'Объясните квантовую запутанность простыми словами'}
        ],
        'stream': False
    }
)

print(chat_response.json()['message']['content'])

Шаблон Docker

FROM nvidia/cuda:12.8.1-devel-ubuntu22.04

# Установить Python 3.10
RUN apt-get update && apt-get install -y \\
    python3.10 python3-pip curl && \\
    rm -rf /var/lib/apt/lists/*

# Установить vLLM
RUN pip install vllm>=0.6.0 transformers

# Задать окружение
ENV PYTHONUNBUFFERED=1

# Предзагрузить модель (необязательно)
# RUN python3 -c "from transformers import AutoModel; AutoModel.from_pretrained('liquid-ai/LFM2-24B-A2B', trust_remote_code=True)"

EXPOSE 8000

CMD ["vllm", "serve", "liquid-ai/LFM2-24B-A2B", \\
     "--host", "0.0.0.0", \\
     "--port", "8000", \\
     "--dtype", "float16", \\
     "--max-model-len", "16384", \\
     "--trust-remote-code"]

Сборка и запуск:

docker build -t lfm2-24b .
docker run --gpus all -p 8000:8000 lfm2-24b

Бенчмарк скорости

Проверьте исключительную скорость инференса LFM2:

import time
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

def speed_test():
    prompts = [
        "Объясните машинное обучение в одном абзаце",
        "Напишите быстрый алгоритм сортировки на Python",
        "Опишите преимущества возобновляемой энергии",
        "Какова столица Франции и почему она важна?",
        "Создайте простую структуру HTML-страницы"
    ]
    
    total_tokens = 0
    total_time = 0
    
    for prompt in prompts:
        start_time = time.time()
        
        response = client.chat.completions.create(
            model="lfm2-24b",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
            temperature=0.1
        )
        
        end_time = time.time()
        
        tokens = len(response.choices[0].message.content.split())
        duration = end_time - start_time
        
        total_tokens += tokens
        total_time += duration
        
        print(f"Промпт: {prompt[:30]}...")
        print(f"Токенов: {tokens}, Время: {duration:.2f}s, Скорость: {tokens/duration:.1f} tok/s\n")
    
    avg_speed = total_tokens / total_time
    print(f"Средняя скорость: {avg_speed:.1f} токенов/секунду")
    return avg_speed

# Запустить тест скорости
speed_test()

Квантование для меньшего VRAM

Для GPU с ограниченным VRAM используйте квантованные версии:

Квантование GPTQ

# Установить auto-gptq
pip install auto-gptq

# Использовать квантованную модель (снижает до ~3 ГБ VRAM)
vllm serve liquid-ai/LFM2-24B-A2B-GPTQ \\
  --model liquid-ai/LFM2-24B-A2B-GPTQ \\
  --quantization gptq \\
  --dtype float16 \\
  --max-model-len 16384

Квантование AWQ

# Установить autoawq
pip install autoawq

# Использовать квантованную модель AWQ
vllm serve liquid-ai/LFM2-24B-A2B-AWQ \\
  --model liquid-ai/LFM2-24B-A2B-AWQ \\
  --quantization awq \\
  --dtype float16

Расширенная конфигурация

Настройка с оптимизацией памяти

Для GPU с 8 ГБ:

vllm serve liquid-ai/LFM2-24B-A2B \\
  --model liquid-ai/LFM2-24B-A2B \\
  --dtype float16 \\
  --max-model-len 8192 \
  --gpu-memory-utilization 0.85 \\
  --swap-space 4 \\
  --trust-remote-code

Настройка высокой пропускной способности

Для производственных нагрузок:

vllm serve liquid-ai/LFM2-24B-A2B \\
  --model liquid-ai/LFM2-24B-A2B \\
  --tensor-parallel-size 1 \\
  --max-num-seqs 32 \\
  --max-num-batched-tokens 8192 \\
  --dtype float16 \\
  --trust-remote-code

Преимущества архитектуры SSM

Гибридная SSM+Attention у LFM2 дает уникальные преимущества:

Линейное масштабирование: SSM масштабируются линейно с длиной последовательности, тогда как традиционные трансформеры — квадратично. Это обеспечивает эффективную обработку длинного контекста.

Селективное внимание: Только критические токены запускают полные механизмы внимания, снижая вычислительные накладные расходы.

Эффективность памяти: Конструкция с 2B активных параметров означает, что большинство из 24B параметров остаются неактивными во время инференса, резко снижая требования к пропускной способности памяти.

Быстрая последовательная обработка: SSM отлично справляются с последовательными задачами, такими как генерация текста, обеспечивая более высокую пропускную способность, чем чистые механизмы внимания.

Советы для пользователей Clore.ai

• Оптимизация под одну GPU: LFM2-24B-A2B оптимизирован для развертывания на одной GPU. Многопроцессорные конфигурации не дают существенных преимуществ.

• Длина контекста: Используйте более короткие контексты (8K-16K) для максимальной скорости. Более длинные контексты уменьшают преимущество эффективности SSM.

• Настройки температуры: Более низкие температуры (0.1-0.3) максимизируют скорость инференса, уменьшая неопределенность.

• Размер батча: Увеличивайте размер батча для нескольких одновременных запросов вместо использования нескольких GPU.

• Соблюдение лицензии: Перед производственным развертыванием проверьте у Liquid AI требования к коммерческой лицензии.

Устранение неполадок

Проблема	Решение
Ошибка ImportError: liquid_transformers	Установите: pip install git+https://github.com/LiquidAI-project/liquid-transformers.git
Медленный запуск	Предзагрузите: huggingface-cli download liquid-ai/LFM2-24B-A2B
OutOfMemoryError	Используйте квантованную версию или уменьшите max-model-len
Низкое качество ответов	Проверьте ограничения лицензии — некоторые версии модели имеют ограниченные возможности
Ошибки слоя SSM	Обновите transformers: pip install transformers>=4.45.0

Сравнение производительности

Модель	Активные параметры	VRAM (FP16)	Скорость (RTX 4090)
Llama 3.2 3B	3B	~6 ГБ	~280 tok/s
Qwen2.5 7B	7B	~14 ГБ	~180 ток/с
LFM2-24B-A2B	2B	~6 ГБ	~350 ток/с
Mistral 7B	7B	~14 ГБ	~200 ток/с
Phi-3.5 3.8B	3.8B	~8 ГБ	~250 tok/s

LFM2-24B-A2B достигает лучшего в своем классе соотношения скорости к VRAM.

Ресурсы

• LFM2-24B-A2B на Hugging Face

• Компания Liquid AI

• Статья об архитектуре SSM

• Лицензирование Liquid AI

• Поддержка SSM в vLLM