DeFT-Mamba：通用多通道声音分离与多音频分类
音频与语音处理
2025-09-12 v1 声音
摘要
本文提出了一个用于通用声音分离和多音频分类的框架，解决了在多通道混合信号中分离和分类单个声源的挑战。该框架结合稠密频率时间注意网络（DeFTAN）和 Mamba 来提取声音对象，通过门控卷积块捕获局部时频关系，通过位置注意 Mamba 捕获全局时频关系。DeFT-Mamba 在现有分离和分类网络上取得大幅优势，尤其是在涉及类内多音的复杂场景中。此外，引入一种基于分类的源计数方法来识别多个源的存在，优于传统的阈值方法。还提出了分离细化调谐以进一步提高性能。该框架在本工作开发的多通道通用声音分离数据集上进行训练和测试，旨在模拟具有移动源以及多音事件起始和终止时间变化的真实环境。
引用
@article{arxiv.2409.12413,
title = {DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification},
author = {Dongheon Lee and Jung-Woo Choi},
journal= {arXiv preprint arXiv:2409.12413},
year = {2025}
}
备注
5 pages, 2 figures