随心演奏：音色增强的多模态音乐风格迁移
声音
2018-11-30 v1 音频与语音处理
摘要
考虑到对风格不同于原作的多样、富有想象力且合理的音乐片段进行建模，复调音乐录音的风格迁移是一项具有挑战性的任务。为此，以无监督方式学习音乐中域变（即风格）与域不变（即内容）信息的稳定多模态表示至关重要。本文提出一种无需平行数据的无监督音乐风格迁移方法。此外，为刻画音乐片段的多模态分布，我们在所提系统中采用了多模态无监督图像到图像翻译（MUNIT）框架。这使得能够从表征内容与风格的潜变量分布中生成多样化输出。而且，为更好地捕捉声音的粒度，如音色的感知维度和乐器特定演奏中的细微差别，将认知上合理的特征包括梅尔频率倒谱系数（MFCC）、谱差分和谱包络，与广泛使用的梅尔谱图结合为音色增强的多通道输入表示。还利用相对论平均生成对抗网络（RaGAN）实现快速收敛和高稳定性。我们在钢琴独奏、吉他独奏和弦乐四重奏三种不同流派间的双向风格迁移任务上进行了实验。结果证明了所提方法在音乐风格迁移中音质改善及允许用户操控输出方面的优势。
引用
@article{arxiv.1811.12214,
title = {Play as You Like: Timbre-enhanced Multi-modal Music Style Transfer},
author = {Chien-Yu Lu and Min-Xin Xue and Chia-Che Chang and Che-Rung Lee and Li Su},
journal= {arXiv preprint arXiv:1811.12214},
year = {2018}
}