音乐理解基础模型的进阶
声音
2025-08-05 v1 人工智能
信息检索
音频与语音处理
摘要
音乐信息检索（Music Information Retrieval, MIR）领域碎片化，专用模型在孤立任务上表现出色。在本工作中，我们挑战了这一范式，引入统一的基础模型 MuFun，用于整体音乐理解。我们的模型具有新颖的架构，能够联合处理乐器内容和歌词内容，并在覆盖多样化任务（如风格分类、音乐标记和问答）的大规模数据集上进行训练。为促进稳健的评估，我们还提出了名为 MuCUE（Music Comprehensive Understanding Evaluation，音乐综合理解评估）的新基准，用于多方位音乐理解。实验表明，我们的模型在 MuCUE 任务上显著优于现有的音频大语言模型，显示出其领先的有效性和泛化能力。
引用
@article{arxiv.2508.01178,
title = {Advancing the Foundation Model for Music Understanding},
author = {Yi Jiang and Wei Wang and Xianwen Guo and Huiyun Liu and Hanrui Wang and Youri Xu and Haoqi Gu and Zhongqian Xie and Chuanjiang Luo},
journal= {arXiv preprint arXiv:2508.01178},
year = {2025}
}