Слияние моделей Mergekit

Mergekit — это главный инструмент для слияния предварительно обученных больших языковых моделей. Более 5 тыс. звёзд на GitHub, и он реализует все основные алгоритмы слияния моделей — SLERP, TIES, DARE, DARE-TIES, слияние MoE и другие — позволяя создавать мощные новые модели без каких-либо обучающих данных или времени на обучение на GPU.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

---

Что такое Mergekit?

Слияние моделей — это мощная техника, которая объединяет сильные стороны нескольких LLM в одну модель:

• Обучение не требуется — слияние происходит в пространстве весов, а не через обратное распространение

• Объединение возможностей — объедините модель для написания кода с моделью, следующей инструкциям

• Снижение слабых мест — усредните отдельные сбои моделей в ансамбле

• Создание смеси экспертов — объедините модели в разреженную архитектуру MoE

• Адаптация под домен — объедините базовую модель со специализированными для домена моделями

Mergekit реализует все современные алгоритмы:

Алгоритм	Описание	Лучше всего для
SLERP	Сферическая линейная интерполяция между двумя моделями	Плавное смешивание двух похожих моделей
TIES	Обрезать избыточные параметры, выбрать знаки, объединить	Объединение нескольких моделей с минимальной интерференцией
DARE	Удаление и перескалирование случайных параметров	Снижение интерференции параметров при крупных слияниях
DARE-TIES	DARE + TIES в сочетании	Лучший универсальный вариант для слияния нескольких моделей
Линейное	Простое взвешенное среднее	Быстрые базовые слияния
Арифметика задач	Сложение/вычитание векторов задач	Добавление/удаление конкретных возможностей
Пасстру	Прямое копирование слоёв	Построение MoE

Слияние моделей удивительно эффективно. Слитые модели часто превосходят свои исходные модели в бенчмарках благодаря объединению взаимодополняющих знаний. Сообщество MergeKit на HuggingFace размещает тысячи слитых моделей.

---

Требования к серверу

Компонент	Минимум	Рекомендуется
GPU	Не требуется (возможно слияние на CPU)	A100 40 GB для больших моделей
VRAM	—	80 GB для слияния моделей 70B
ОЗУ	32 ГБ	64 GB+ (модели загружаются в RAM)
CPU	8 ядер	16+ ядер
Хранилище	100 ГБ	500 GB+
ОС	Ubuntu 20.04+	Ubuntu 22.04
Python	3.10+	3.11

Для слияния только на CPU (самый распространённый режим) вашим узким местом будет RAM. Слияние двух моделей 7B в bf16 требует минимум около 28 GB RAM. Используйте --lazy-unpickle для меньшего потребления памяти.

---

Порты

Порт	Сервис	Примечания
22	SSH	Доступ к терминалу и передача файлов

Mergekit работает как инструмент командной строки — веб-сервер не нужен.

---

Установка на Clore.ai

Шаг 1 — Арендуйте сервер

1. Перейдите на Маркетплейс Clore.ai

2. Фильтруйте по RAM ≥ 64 GB (критично для крупных слияний моделей)

3. Выберите Хранилище ≥ 500 GB (слитым моделям нужно место для 2–4 входных моделей + выходной модели)

4. GPU необязателен, но полезен, если вы хотите затем протестировать слитую модель

5. Открыть порт 22 только

Шаг 2 — Подключение по SSH

ssh root@<server-ip> -p <ssh-port>

Шаг 3 — Установите окружение Python

# Установите Python 3.11
apt-get update
apt-get install -y python3.11 python3.11-venv python3.11-pip git

# Создайте виртуальное окружение
python3.11 -m venv /opt/mergekit
source /opt/mergekit/bin/activate

Шаг 4 — Установите Mergekit

# Установка из PyPI
pip install mergekit

# Или установите из исходников (рекомендуется для самых свежих функций)
git clone https://github.com/arcee-ai/mergekit.git
cd mergekit
pip install -e '.[everything]'

Шаг 5 — Установите HuggingFace CLI

pip install huggingface_hub
huggingface-cli login  # Введите ваш токен HF

Шаг 6 — Проверьте установку

mergekit --help
mergekit-yaml --help

---

Скачивание моделей для слияния

# Скачайте модели, которые хотите объединить
# Используя huggingface_hub

python3 << 'EOF'
from huggingface_hub import snapshot_download

# Скачать модель 1
snapshot_download(
    repo_id="mistralai/Mistral-7B-Instruct-v0.3",
    local_dir="models/Mistral-7B-Instruct-v0.3"
)

# Скачать модель 2
snapshot_download(
    repo_id="meta-llama/Llama-3.2-8B-Instruct",
    local_dir="models/Llama-3.2-8B-Instruct",
    token="hf_your-token"  # Требуется для моделей с ограниченным доступом
)
EOF

# Или используйте CLI huggingface_hub
huggingface-cli download mistralai/Mistral-7B-Instruct-v0.3 \\
  --local-dir models/Mistral-7B-Instruct-v0.3

---

Конфигурации слияния

Mergekit использует YAML-файлы конфигурации для определения слияний.

Пример 1: Слияние SLERP (две модели)

SLERP смешивает две модели вдоль сферической дуги — лучше всего подходит для моделей одной архитектуры:

# slerp_merge.yaml
models:
  - model: models/Mistral-7B-Instruct-v0.3
  - model: models/OpenHermes-2.5-Mistral-7B

merge_method: slerp
base_model: models/Mistral-7B-Instruct-v0.3

slices:
  - sources:
    - model: models/Mistral-7B-Instruct-v0.3
      layer_range: [0, 32]
    - model: models/OpenHermes-2.5-Mistral-7B
      layer_range: [0, 32]

parameters:
  t:
    - filter: self_attn
      value: 0.5  # Смешивание 50/50 для слоёв внимания
    - filter: mlp
      value: 0.3  # 30% от модели 2 для слоёв MLP
    - value: 0.5  # значение по умолчанию для всего остального

dtype: bfloat16

mergekit-yaml slerp_merge.yaml merged-model/ --lazy-unpickle

Пример 2: Слияние TIES (несколько моделей)

TIES справляется с интерференцией между несколькими слитыми моделями:

# ties_merge.yaml
models:
  - model: models/Mistral-7B-v0.3
    parameters:
      weight: 1.0    # Базовая модель, полный вес
      density: 1.0

  - model: models/Mistral-7B-coding
    parameters:
      weight: 0.7    # Возможности программирования
      density: 0.5   # Сохранить 50% изменённых параметров

  - model: models/Mistral-7B-math
    parameters:
      weight: 0.5    # Математические возможности
      density: 0.3   # Сохранить 30% изменённых параметров

merge_method: ties
base_model: models/Mistral-7B-v0.3

parameters:
  normalize: true
  int8_mask: true

dtype: bfloat16

mergekit-yaml ties_merge.yaml merged-ties/ --lazy-unpickle

Пример 3: Слияние DARE-TIES (лучший универсальный вариант)

# dare_ties_merge.yaml
models:
  - model: models/Llama-3.2-8B-Instruct
    parameters:
      weight: 1.0
      density: 0.7
      dare_linear: true

  - model: models/Llama-3.2-8B-code
    parameters:
      weight: 0.8
      density: 0.5
      dare_linear: true

  - model: models/Llama-3.2-8B-math
    parameters:
      weight: 0.6
      density: 0.4
      dare_linear: true

merge_method: dare_ties
base_model: models/Llama-3.2-8B-Instruct

parameters:
  normalize: true
  dare_density: 0.5
  dare_epsilon: 0.08

dtype: bfloat16

mergekit-yaml dare_ties_merge.yaml merged-dare-ties/ --lazy-unpickle

Пример 4: Арифметика задач (добавление возможностей)

Добавьте «дельту навыка» к базовой модели:

# task_arithmetic.yaml
# Добавляет математический навык из модели, дообученной на математике, к общей базовой модели
models:
  - model: models/Llama-3.2-8B-Instruct
    parameters:
      weight: 1.0
  
  - model: models/Llama-3.2-8B-math
    parameters:
      weight: 0.7   # Положительное значение = добавить эту возможность
  
  # Чтобы УДАЛИТЬ возможность, используйте отрицательный вес:
  # - model: models/Llama-3.2-8B-harmful
  #   parameters:
  #     weight: -0.5

merge_method: task_arithmetic
base_model: models/Llama-3.2-8B-Instruct

dtype: bfloat16

Пример 5: MoE (смесь экспертов)

Объедините модели в разреженную архитектуру MoE:

# moe_merge.yaml
base_model: models/Llama-3.2-8B-Instruct

gate_mode: hidden  # Используйте скрытые состояния для маршрутизации к экспертам
dtype: bfloat16
experts:
  - source_model: models/Llama-3.2-8B-coding
    positive_prompts:
      - "Напиши код"
      - "Отладь эту функцию"
      - "Реализуй алгоритм"
    negative_prompts:
      - "Расскажи мне историю"
      - "Объясни историю"
  
  - source_model: models/Llama-3.2-8B-creative
    positive_prompts:
      - "Напиши историю"
      - "Будь креативным"
      - "Представь"
    negative_prompts:
      - "Напиши код"
      - "Вычисли"

mergekit-moe moe_merge.yaml merged-moe/ --lazy-unpickle

---

Запуск слияния

Базовая команда

# Активируйте окружение
source /opt/mergekit/bin/activate

# Запустите слияние с ленивой распаковкой (экономит RAM)
mergekit-yaml your_config.yaml output_model/ --lazy-unpickle

# С ускорением CUDA (если доступен GPU)
mergekit-yaml your_config.yaml output_model/ \\
  --lazy-unpickle \\
  --cuda \\
  --copy-tokenizer

# Режим низкого потребления памяти (медленнее, но работает на небольших серверах)
mergekit-yaml your_config.yaml output_model/ \\
  --lazy-unpickle \\
  --low-cpu-memory

Следите за прогрессом

# Mergekit показывает прогресс для каждого слоя
# Типичный вывод:
# Загрузка модели 1...
# Загрузка модели 2...
# Слияние слоя 0/32: embed_tokens
# Слияние слоя 1/32: layers.0.self_attn
# ...
# Сохранение слитой модели...
# Готово! Сохранено в output_model/

---

Тестирование слитой модели

# Быстрый тест с transformers
python3 << 'EOF'
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "output_model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

prompt = "Объясни разницу между LoRA и полным дообучением:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.7)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
EOF

---

Публикация на HuggingFace

# Войти
huggingface-cli login

# Создать и отправить репозиторий
python3 << 'EOF'
from huggingface_hub import HfApi
api = HfApi()

# Создать репозиторий
api.create_repo("my-merged-model-7b", private=False)

# Загрузить слитую модель
api.upload_folder(
    folder_path="output_model/",
    repo_id="your-username/my-merged-model-7b",
    repo_type="model"
)
print("Загружено!")
EOF

---

Продвинутое: эволюционное слияние

Используйте эволюционный оптимизатор Mergekit, чтобы найти оптимальные веса слияния:

# Установите эволюционный оптимизатор
pip install 'mergekit[evo]'

# Запустите эволюционный поиск
mergekit-evolve evolve_config.yaml \\
  --storage-path ./evolve-workspace \\
  --n-iterations 100 \\
  --task mmlu  # Оптимизировать под бенчмарк MMLU

---

Устранение неполадок

Нехватка памяти (OOM) во время слияния

# Всегда используйте --lazy-unpickle для больших моделей
mergekit-yaml config.yaml out/ --lazy-unpickle

# Добавьте флаг --low-cpu-memory
mergekit-yaml config.yaml out/ --lazy-unpickle --low-cpu-memory

# Проверьте доступную RAM перед слиянием
free -h

# Для моделей 7B вам нужно минимум около 30 GB RAM
# Для моделей 13B: около 60 GB RAM
# Для моделей 70B: около 280 GB RAM (или используйте CPU-сервер с большим объёмом RAM)

ValueError: модели несовместимы

# Модели должны иметь одинаковую архитектуру
# Нельзя напрямую объединить Llama-3 с Mistral
# Проверьте конфигурации моделей
python3 -c "
import json
for path in ['models/model1/config.json', 'models/model2/config.json']】【：】【“】【t_6c4042eb":"with open(path) as f:","t_f4885391":"cfg = json.load(f)","t_90051497":"print(path, ':', cfg.get('model_type'), cfg.get('hidden_size'), cfg.get('num_hidden_layers'))","t_9f6fb14d":"Слияние очень медленное","t_cace925c":"# Используйте GPU для более быстрых операций с тензорами","t_aa20bca6":"mergekit-yaml config.yaml out/ --lazy-unpickle --cuda","t_41f0f95b":"# Убедитесь, что установлен PyTorch с CUDA","t_1f9af05e":"python3 -c \"import torch; print(torch.cuda.is_available())\"","t_514dd241":"# Если CUDA недоступна, установите её:","t_2fe4d877":"Слитая модель выдаёт бессвязный текст","t_efa513c8":"# 1. Слияние несовместимых семейств моделей (например, Llama + Mistral)","t_17d7e47f":"# 2. Слишком экстремальные веса (t=0 или t=1 вместо 0.3–0.7 для SLERP)","t_fd0baf11":"# 3. Слишком высокая плотность в TIES (попробуйте density: 0.3–0.5)","t_9b7aa5e7":"# Диагностика: сначала протестируйте каждую родительскую модель","t_db7b18bb":"# Затем попробуйте базовое слияние SLERP 50/50","t_b13335ab":"# Проверьте конфигурацию слитой модели","t_f301eabd":"cat output_model/config.json | python3 -m json.tool","t_5eb88300":"FileNotFoundError","t_25a73a22":"для файлов модели","t_b8c11af0":"# Посмотрите, что было скачано","t_3e380d4e":"ls -la models/your-model/","t_dd294145":"# Необходимые файлы:","t_972c145b":"# config.json, tokenizer.json, *.safetensors (или *.bin)","t_79b63851":"# Скачайте заново с принудительным перезапуском","t_3cfc6610":"huggingface-cli download <repo_id> --local-dir models/<name> --force-download","t_7de34cd4":"Популярные рецепты слияния","t_9eb09c4f":"Общий ассистент + программирование","t_282066ff":"# Отлично подходит для разработчиков, которым также нужна общая функциональность","t_3dcc4371":"- model: mistralai/Mistral-7B-Instruct-v0.3","t_362b587f":"parameters: {weight: 1.0, density: 0.7}","t_1a16482c":"- model: mistralai/Codestral-7B","t_cbe4137e":"parameters: {weight: 0.8, density: 0.5}","t_d632cd30":"base_model: mistralai/Mistral-7B-Instruct-v0.3","t_b46d8e21":"Усиление мультиязычности","t_61567a29":"# Добавьте мультиязычные возможности к англоязычной модели","t_843e3cdc":"- model: meta-llama/Llama-3.2-8B-Instruct","t_c91de7a3":"parameters: {weight: 1.0, density: 0.8}","t_43321997":"- model: utter-project/EuroLLM-9B-Instruct","t_92bace91":"parameters: {weight: 0.6, density: 0.4}","t_986c307b":"base_model: meta-llama/Llama-3.2-8B-Instruct","t_19bfdb9f":"https://github.com/arcee-ai/mergekit","t_58e01d52":"⭐ 5K+","t_08c88cb8":"https://github.com/arcee-ai/mergekit/wiki","t_bde24d76":"Модели MergeKit на HuggingFace","t_43890615":"https://huggingface.co/models?other=mergekit","t_d13493ed":"Arcee.ai Discord","t_9d404202":"https://discord.gg/arcee","t_b1391569":"Статья о TIES","t_012b0b47":"https://arxiv.org/abs/2306.01708","t_7c2fa101":"Статья о DARE","t_1ab32f5e":"https://arxiv.org/abs/2311.03099","t_1b44e35e":"Слияние моделей (7B–13B)","t_82049ebf":"Слияние на нескольких GPU","t_500857d2":"2–4× A100 80GB"}】}]}}]}]}]}]}]}]}】}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】}]}]}]}]}]}]}]}]}]}]}]}]】}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】【。}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}】}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】【。}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]】【。}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]}]},{
    with open(path) as f:
        cfg = json.load(f)
    print(path, ':', cfg.get('model_type'), cfg.get('hidden_size'), cfg.get('num_hidden_layers'))
"

Слияние очень медленное

# Используйте GPU для более быстрых операций с тензорами
mergekit-yaml config.yaml out/ --lazy-unpickle --cuda

# Убедитесь, что установлен PyTorch с CUDA
python3 -c "import torch; print(torch.cuda.is_available())"

# Если CUDA недоступна, установите её:
pip install torch --index-url https://download.pytorch.org/whl/cu128

Слитая модель выдаёт бессвязный текст

# Распространённые причины:
# 1. Слияние несовместимых семейств моделей (например, Llama + Mistral)
# 2. Слишком экстремальные веса (t=0 или t=1 вместо 0.3–0.7 для SLERP)
# 3. Слишком высокая плотность в TIES (попробуйте density: 0.3–0.5)

# Диагностика: сначала протестируйте каждую родительскую модель
# Затем попробуйте базовое слияние SLERP 50/50

# Проверьте конфигурацию слитой модели
cat output_model/config.json | python3 -m json.tool

FileNotFoundError для файлов модели

# Посмотрите, что было скачано
ls -la models/your-model/

# Необходимые файлы:
# config.json, tokenizer.json, *.safetensors (или *.bin)

# Скачайте заново с принудительным перезапуском
huggingface-cli download <repo_id> --local-dir models/<name> --force-download

---

Популярные рецепты слияния

Общий ассистент + программирование

# Отлично подходит для разработчиков, которым также нужна общая функциональность
models:
  - model: mistralai/Mistral-7B-Instruct-v0.3
    parameters: {weight: 1.0, density: 0.7}
  - model: mistralai/Codestral-7B  
    parameters: {weight: 0.8, density: 0.5}

merge_method: dare_ties
base_model: mistralai/Mistral-7B-Instruct-v0.3
dtype: bfloat16

Усиление мультиязычности

# Добавьте мультиязычные возможности к англоязычной модели
models:
  - model: meta-llama/Llama-3.2-8B-Instruct
    parameters: {weight: 1.0, density: 0.8}
  - model: utter-project/EuroLLM-9B-Instruct
    parameters: {weight: 0.6, density: 0.4}

merge_method: ties
base_model: meta-llama/Llama-3.2-8B-Instruct
dtype: bfloat16

---

Полезные ссылки

• GitHub: https://github.com/arcee-ai/mergekit ⭐ 5K+

• Документация: https://github.com/arcee-ai/mergekit/wiki

• Модели MergeKit на HuggingFace: https://huggingface.co/models?other=mergekit

• Arcee.ai Discord: https://discord.gg/arcee

• Статья о TIES: https://arxiv.org/abs/2306.01708

• Статья о DARE: https://arxiv.org/abs/2311.03099

• Маркетплейс Clore.ai: https://clore.ai/marketplace

---

Рекомендации по GPU для Clore.ai

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Сценарий использования	Рекомендуемый GPU	Оценочная стоимость на Clore.ai
Разработка/тестирование	RTX 3090 (24 ГБ)	$0.07–0.21/гпу/ч
Слияние моделей (7B–13B)	RTX 4090 (24 ГБ)	$0.14–0.42/гпу/ч
Крупные модели (70B+)	A100 80 ГБ	голое железо
Слияние на нескольких GPU	2–4× A100 80GB	голое железо

💡 Все примеры в этом руководстве можно развернуть на Clore.ai GPU-серверах. Просматривайте доступные GPU и арендуйте по часам — без обязательств, с полным root-доступом.