MusicMamba：用于生成带有模态精度的中国传统音乐的双特征建模方法
声音
2025-03-07 v2 音频与语音处理
摘要
近年来，深度学习显著推进了 MIDI 领域，使音乐生成成为人工智能的关键应用之一。然而，现有研究主要关注西方音乐，在捕捉中国传统音乐的模态特征和情感表达方面存在挑战。为此，我们提出了一种新的架构，即双特征建模模块，将 Mamba 块的长程依赖建模与 Transformer 块的全局结构捕获能力相结合。此外，我们引入双向 Mamba 融合层，通过双向扫描整合局部细节和全局结构，增强复杂序列的建模。基于此架构，我们提出了 REMI-M 表示法，更准确地捕捉和生成旋律中的模态信息。为支持此研究，我们开发了 FolkDB，一个涵盖多种风格且总时长超过 11 小时的高质量中国传统音乐数据集。实验结果表明，所提出的架构在生成具有中国传统音乐特征的旋律方面表现出色，为音乐生成提供了一种新颖且有效的解决方案。
关键词
引用
@article{arxiv.2409.02421,
title = {MusicMamba: A Dual-Feature Modeling Approach for Generating Chinese Traditional Music with Modal Precision},
author = {Jiatao Chen and Tianming Xie and Xing Tang and Jing Wang and Wenjing Dong and Bing Shi},
journal= {arXiv preprint arXiv:2409.02421},
year = {2025}
}
备注
Accepted by ICASSP 2025