Demucs Separation

Разделяйте музыку на вокал, барабаны, бас и другое с Demucs

Разделяйте музыку на стемы (вокал, ударные, бас, другое) с помощью Demucs.

Все примеры можно запускать на GPU-серверах, арендуемых через CLORE.AI Marketplace.

Аренда на CLORE.AI

Посетите CLORE.AI Marketplace
Отфильтруйте по типу GPU, объему VRAM и цене
Выберите On-Demand (фиксированная ставка) или Spot (цена по ставке)
Настройте ваш заказ:
- Выберите Docker-образ
- Установите порты (TCP для SSH, HTTP для веб-интерфейсов)
- Добавьте переменные окружения при необходимости
- Введите команду запуска
Выберите способ оплаты: CLORE, BTC, или USDT/USDC
Создайте заказ и дождитесь развертывания

Доступ к вашему серверу

Найдите данные для подключения в Моих заказах
Веб-интерфейсы: используйте URL HTTP-порта
SSH: ssh -p <port> root@<proxy-address>

Что такое Demucs?

Demucs от Meta AI может:

Отделять вокал от музыки
Извлекать ударные, бас и другие инструменты
Обрабатывать любые аудиоформаты
Высококачественное извлечение стемов

Быстрое развертывание

Docker-образ:

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

Порты:

22/tcp
7860/http

Команда:

pip install demucs gradio && \
python -c "
import gradio as gr
from demucs.pretrained import get_model
from demucs.apply import apply_model
import torch
import torchaudio
import tempfile
import os

model = get_model('htdemucs')
model.cuda()

def separate(audio_path, stem):
    wav, sr = torchaudio.load(audio_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    stems = {'drums': 0, 'bass': 1, 'other': 2, 'vocals': 3}
    output = sources[stems[stem]].cpu()

    with tempfile.NamedTemporaryFile(suffix='.wav', delete=False) as f:
        torchaudio.save(f.name, output, sr)
        return f.name

demo = gr.Interface(
    fn=separate,
    inputs=[gr.Audio(type='filepath'), gr.Dropdown(['vocals', 'drums', 'bass', 'other'])],
    outputs=gr.Audio(),
    title='Demucs Audio Separator'
)
demo.launch(server_name='0.0.0.0', server_port=7860)
"

Доступ к вашему сервису

После развертывания найдите ваш http_pub URL в Моих заказах:

Перейдите на Моих заказах страницу
Нажмите на ваш заказ
Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

pip install demucs

# или
pip install -e git+https://github.com/facebookresearch/demucs#egg=demucs

Использование в командной строке

Базовое разделение


# Разделить на 4 стема
demucs song.mp3

# Вывод: separated/htdemucs/song/{drums,bass,other,vocals}.wav

Параметры

demucs \
    --two-stems vocals \     # Только вокал + инструментал
    -n htdemucs \            # Название модели
    -d cuda \                # Использовать GPU
    -o ./output \            # Каталог вывода
    --mp3 \                  # Вывести в MP3
    song.mp3

Обработка папки

demucs --two-stems vocals -d cuda ./songs/*.mp3

Python API

Базовое разделение

from demucs.pretrained import get_model
from demucs.apply import apply_model
import torchaudio
import torch

# Загрузить модель
model = get_model('htdemucs')
model.cuda()
model.eval()

# Загрузить аудио
wav, sr = torchaudio.load("song.mp3")
wav = wav.cuda()

# Разделить
with torch.no_grad():
    sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

# форма sources: [4, channels, samples]

# 0: drums, 1: bass, 2: other, 3: vocals

# Сохранить стемы
stems = ['drums', 'bass', 'other', 'vocals']
for i, stem in enumerate(stems):
    torchaudio.save(f"{stem}.wav", sources[i].cpu(), sr)

Получить только вокал

def extract_vocals(audio_path):
    wav, sr = torchaudio.load(audio_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    vocals = sources[3].cpu()  # Индекс 3 = вокал
    return vocals, sr

vocals, sr = extract_vocals("song.mp3")
torchaudio.save("vocals.wav", vocals, sr)

Получить инструментал (без вокала)

def extract_instrumental(audio_path):
    wav, sr = torchaudio.load(audio_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    # Сумма ударных + баса + другого
    instrumental = sources[0] + sources[1] + sources[2]
    return instrumental.cpu(), sr

instrumental, sr = extract_instrumental("song.mp3")
torchaudio.save("instrumental.wav", instrumental, sr)

Варианты моделей

Модель

Стемы

Качество

Скорость

htdemucs

Лучшее

Средне

htdemucs_ft

Best+

Медленно

htdemucs_6s

Отлично

Средне

mdx_extra

Отлично

Быстро

Модель с 6 стемами

model = get_model('htdemucs_6s')

# Стемы: drums, bass, other, vocals, guitar, piano

Дообученная модель

model = get_model('htdemucs_ft')

# Более высокое качество, но медленнее

Пакетная обработка

import os
from demucs.pretrained import get_model
from demucs.apply import apply_model
import torchaudio
import torch

model = get_model('htdemucs')
model.cuda()
model.eval()

input_dir = "./songs"
output_dir = "./separated"

for filename in os.listdir(input_dir):
    if filename.endswith(('.mp3', '.wav', '.flac')):
        input_path = os.path.join(input_dir, filename)
        song_output_dir = os.path.join(output_dir, filename.rsplit('.', 1)[0])
        os.makedirs(song_output_dir, exist_ok=True)

        print(f"Processing: {filename}")

        wav, sr = torchaudio.load(input_path)
        wav = wav.cuda()

        with torch.no_grad():
            sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

        stems = ['drums', 'bass', 'other', 'vocals']
        for i, stem in enumerate(stems):
            torchaudio.save(
                os.path.join(song_output_dir, f"{stem}.wav"),
                sources[i].cpu(),
                sr
            )

        print(f"Saved: {song_output_dir}")

API-сервер

from fastapi import FastAPI, UploadFile
from fastapi.responses import FileResponse
from demucs.pretrained import get_model
from demucs.apply import apply_model
import torchaudio
import torch
import tempfile
import os

app = FastAPI()

model = get_model('htdemucs')
model.cuda()
model.eval()

@app.post("/separate")
async def separate(file: UploadFile, stem: str = "vocals"):
    # Сохранить загруженный файл
    with tempfile.NamedTemporaryFile(delete=False, suffix=".mp3") as tmp:
        content = await file.read()
        tmp.write(content)
        tmp_path = tmp.name

    # Загрузить и разделить
    wav, sr = torchaudio.load(tmp_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    stems = {'drums': 0, 'bass': 1, 'other': 2, 'vocals': 3}
    output = sources[stems[stem]].cpu()

    # Сохранить вывод
    with tempfile.NamedTemporaryFile(delete=False, suffix=".wav") as out:
        torchaudio.save(out.name, output, sr)
        return FileResponse(out.name, media_type="audio/wav")

@app.post("/instrumental")
async def get_instrumental(file: UploadFile):
    with tempfile.NamedTemporaryFile(delete=False, suffix=".mp3") as tmp:
        content = await file.read()
        tmp.write(content)
        tmp_path = tmp.name

    wav, sr = torchaudio.load(tmp_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    # Объединить не-вокальные стемы
    instrumental = sources[0] + sources[1] + sources[2]

    with tempfile.NamedTemporaryFile(delete=False, suffix=".wav") as out:
        torchaudio.save(out.name, instrumental.cpu(), sr)
        return FileResponse(out.name, media_type="audio/wav")

# Запуск: uvicorn server:app --host 0.0.0.0 --port 8000

Оптимизация памяти

Для длинного аудио

from demucs.apply import apply_model

# Использовать разбиение для длинного аудио
sources = apply_model(
    model,
    wav.unsqueeze(0),
    split=True,         # Разбивать на части
    overlap=0.25,       # Перекрытие между частями
    progress=True
)[0]

Для ограниченной видеопамяти (VRAM)


# Использовать CPU для некоторых операций
model.cpu()
wav = wav.cpu()

# Или использовать сегментную обработку
sources = apply_model(
    model,
    wav.unsqueeze(0),
    split=True,
    segment=10  # сегменты по 10 секунд
)[0]

Сценарии использования

Караоке трек

def create_karaoke(song_path):
    wav, sr = torchaudio.load(song_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    # Всё кроме вокала
    karaoke = sources[0] + sources[1] + sources[2]
    return karaoke.cpu(), sr

Подготовка ремикса

def extract_all_stems(song_path, output_dir):
    wav, sr = torchaudio.load(song_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    stems = ['drums', 'bass', 'other', 'vocals']
    paths = {}

    for i, stem in enumerate(stems):
        path = os.path.join(output_dir, f"{stem}.wav")
        torchaudio.save(path, sources[i].cpu(), sr)
        paths[stem] = path

    return paths

Извлечение акапеллы

def extract_acapella(song_path):
    wav, sr = torchaudio.load(song_path)
    wav = wav.cuda()

    with torch.no_grad():
        sources = apply_model(model, wav.unsqueeze(0), split=True)[0]

    vocals = sources[3]
    return vocals.cpu(), sr

Советы по качеству

Для наилучших результатов

Используйте без потерь вход (WAV, FLAC)
Более высокая частота дискретизации = лучшее качество
Используйте htdemucs_ft для критической работы

Постобработка

from pydub import AudioSegment
from pydub.effects import normalize, high_pass_filter

# Загрузить разделённый вокал
vocals = AudioSegment.from_wav("vocals.wav")

# Удалить низкие шумы
vocals = high_pass_filter(vocals, 80)

# Normalize
vocals = normalize(vocals)

vocals.export("vocals_clean.wav", format="wav")

Производительность

Длина аудио

GPU

Время

3-минутная песня

RTX 3090

~15с

3-минутная песня

RTX 4090

~10с

3-минутная песня

A100

~8s

1-часовой альбом

RTX 3090

~5 мин

Устранение неполадок

Недостаточно памяти


# Использовать меньшие сегменты
demucs --segment 10 song.mp3

Плохое разделение

Используйте модель htdemucs_ft
Проверьте качество входа
Избегайте сильно сжатых MP3

Артефакты

Увеличьте перекрытие
Используйте модель более высокого качества
Проверьте наличие клиппинга на входе

Оценка стоимости

Типичные ставки на маркетплейсе CLORE.AI (по состоянию на 2024):

GPU

Почасовая ставка

Дневная ставка

Сессия 4 часа

RTX 3060

~$0.03

~$0.70

~$0.12

RTX 3090

~$0.06

~$1.50

~$0.25

RTX 4090

~$0.10

~$2.30

~$0.40

A100 40GB

~$0.17

~$4.00

~$0.70

A100 80GB

~$0.25

~$6.00

~$1.00

Цены варьируются в зависимости от провайдера и спроса. Проверьте CLORE.AI Marketplace для текущих тарифов.

Экономьте деньги:

Используйте Spot рынок для гибких рабочих нагрузок (часто на 30–50% дешевле)
Платите с помощью CLORE токенов
Сравнивайте цены у разных провайдеров

Дальнейшие шаги

RVC Клонирование голоса - Обрабатывать извлечённый вокал
AudioCraft Music - Генерировать новую музыку
Whisper Transcription - Транскрибировать вокал

ПредыдущаяRVC Клонирование голоса СледующаяAudioCraft Music

Последнее обновление 1 день назад

Это было полезно?

hashtagАренда на CLORE.AI

hashtagДоступ к вашему серверу

hashtagЧто такое Demucs?

hashtagБыстрое развертывание

hashtagДоступ к вашему сервису

hashtagУстановка

hashtagИспользование в командной строке

hashtagБазовое разделение

hashtagПараметры

hashtagОбработка папки

hashtagPython API

hashtagБазовое разделение

hashtagПолучить только вокал

hashtagПолучить инструментал (без вокала)

hashtagВарианты моделей

hashtagМодель с 6 стемами

hashtagДообученная модель

hashtagПакетная обработка

hashtagAPI-сервер

hashtagОптимизация памяти

hashtagДля длинного аудио

hashtagДля ограниченной видеопамяти (VRAM)

hashtagСценарии использования

hashtagКараоке трек

hashtagПодготовка ремикса

hashtagИзвлечение акапеллы

hashtagСоветы по качеству

hashtagДля наилучших результатов

hashtagПостобработка

hashtagПроизводительность

hashtagУстранение неполадок

hashtagНедостаточно памяти

hashtagПлохое разделение

hashtagАртефакты

hashtagОценка стоимости

hashtagДальнейшие шаги

Аренда на CLORE.AI

Доступ к вашему серверу

Что такое Demucs?

Быстрое развертывание

Доступ к вашему сервису

Установка

Использование в командной строке

Базовое разделение

Параметры

Обработка папки

Python API

Базовое разделение

Получить только вокал

Получить инструментал (без вокала)

Варианты моделей

Модель с 6 стемами

Дообученная модель

Пакетная обработка

API-сервер

Оптимизация памяти

Для длинного аудио

Для ограниченной видеопамяти (VRAM)

Сценарии использования

Караоке трек

Подготовка ремикса

Извлечение акапеллы

Советы по качеству

Для наилучших результатов

Постобработка

Производительность

Устранение неполадок

Недостаточно памяти

Плохое разделение

Артефакты

Оценка стоимости

Дальнейшие шаги