WaveTransfer：基于扩散的灵活端到端多乐器音色迁移
音频与语音处理
2024-09-25 v1 声音
摘要
随着扩散基于深度生成模型的流行，研究人员正积极探索其在各个领域的潜力应用，包括音乐合成和风格转换。在本工作中，我们关注音色迁移，即无缝改变音乐作品中乐器特征的过程，同时保留基本音乐元素。本文介绍了 WaveTransfer，一个用于音色迁移的端到端扩散模型。我们特别采用双边去噪扩散模型 (Bilateral Denoising Diffusion Model, BDDM) 进行噪声调度搜索。该模型能够对音频混合以及单个乐器进行音色迁移。值得注意的是，它在单一模型中支持多种类型的音色迁移 between unique instrument pairs，无需为每种配对单独训练模型。此外，与最近的工作 limited to 16 kHz 不同，WaveTransfer 可在各种采样率下进行训练，包括音乐界业界标准的 44.1 kHz，这一特性尤其受音乐社区欢迎。
引用
@article{arxiv.2409.15321,
title = {WaveTransfer: A Flexible End-to-end Multi-instrument Timbre Transfer with Diffusion},
author = {Teysir Baoueb and Xiaoyu Bie and Hicham Janati and Gael Richard},
journal= {arXiv preprint arXiv:2409.15321},
year = {2024}
}
备注
Accepted at MLSP 2024