CLaMP 3：跨非对齐模态和不可见语言的通用音乐信息检索
声音
2025-05-20 v3 音频与语音处理
摘要
CLaMP 3 是一个统一框架，用于解决音乐信息检索中跨模态和跨语言泛化的挑战。通过对比学习，它将包括 sheet music、演奏信号和音频录音等所有主要音乐模态与多语言文本对齐至共享表示空间，实现以文本为桥梁的跨非对齐模态检索。它具备适用于不可见语言的多语言文本编码器，显示出强大的跨语言泛化能力。利用检索增强生成，我们构建了 M4-RAG 数据集，包含 231 万对音乐-文本配对。该数据集包含详细元数据，代表广泛的全球音乐传统。为推进未来研究，我们发布了 WikiMT-X，一个包含 1000 组 sheet music、音频及丰富多样文本描述的基准。实验表明，CLaMP 3 在多个 MIR 任务上实现了最先进的性能，显著超越了以往强大基准，在多模态和多语言音乐情境中表现出卓越的泛化能力。
引用
@article{arxiv.2502.10362,
title = {CLaMP 3: Universal Music Information Retrieval Across Unaligned Modalities and Unseen Languages},
author = {Shangda Wu and Zhancheng Guo and Ruibin Yuan and Junyan Jiang and Seungheon Doh and Gus Xia and Juhan Nam and Xiaobing Li and Feng Yu and Maosong Sun},
journal= {arXiv preprint arXiv:2502.10362},
year = {2025}
}
备注
20 pages, 8 figures, 12 tables, accepted by ACL 2025