音乐基础模型作为通用提升器用于音乐下游任务
声音
2025-05-28 v3 信息检索
机器学习
音频与语音处理
摘要
我们展示了使用单一基础模型提取的中间表示来增强多种音乐下游任务的有效性。我们引入 SoniDo，这是一个音乐基础模型 (MFM)，旨�从目标音乐样本中提取层次化特征。通过利用层次化中间特征，SoniDo 将信息粒度约束在合理范围内，从而在包括理解类和生成类任务在内的各种下游任务上实现性能提升。我们特别在诸如音乐标记、音乐转位、音乐源分离和音乐混合等代表性任务上进行了评估。我们的结果表明，来自基础模型提取的特征对训练下游任务模型具有显著的增强作用。这凸显了将来自音乐基础模型提取的特征作为下游任务提升器的潜力。我们的做法不仅惠及现有的任务特定模型，也支持数据稀缺受限的音乐下游任务。这为更有效、更可及的音乐处理解决方案指明了道路。
引用
@article{arxiv.2411.01135,
title = {Music Foundation Model as Generic Booster for Music Downstream Tasks},
author = {WeiHsiang Liao and Yuhta Takida and Yukara Ikemiya and Zhi Zhong and Chieh-Hsin Lai and Giorgio Fabbro and Kazuki Shimada and Keisuke Toyama and Kinwai Cheuk and Marco A. Martínez-Ramírez and Shusuke Takahashi and Stefan Uhlich and Taketo Akama and Woosung Choi and Yuichiro Koyama and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2411.01135},
year = {2025}
}
备注
41 pages with 14 figures