OpenMU：面向音乐理解的瑞士军刀
声音
2024-11-28 v3 人工智能
计算与语言
多媒体
音频与语音处理
摘要
我们提出了OpenMU-Bench，一个大规模基准套件，用于解决训练多模态语言模型理解音乐数据稀缺的问题。为构建OpenMU-Bench，我们利用现有数据集并引导新的注释。OpenMU-Bench还扩展了音乐理解的范围，包括歌词理解和音乐工具用法。使用OpenMU-Bench，我们训练了我们的音乐理解模型OpenMU，通过大量消除实验，证明OpenMU在MU-Llama等基线模型之上。OpenMU和OpenMU-Bench均开源，以促进音乐理解领域的未来研究并提高创意音乐制作效率。
引用
@article{arxiv.2410.15573,
title = {OpenMU: Your Swiss Army Knife for Music Understanding},
author = {Mengjie Zhao and Zhi Zhong and Zhuoyuan Mao and Shiqi Yang and Wei-Hsiang Liao and Shusuke Takahashi and Hiromi Wakaki and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2410.15573},
year = {2024}
}
备注
Resources: https://github.com/sony/openmu