基于模拟房间脉冲响应的空间数据增强用于声音事件定位与检测
声音
2022-04-29 v2 音频与语音处理
摘要
为声音事件定位与检测（SELD）任务录制并标注真实声音事件十分耗时，当数据量有限时往往倾向于使用数据增强技术。然而，如何增强数据集中的空间信息（包括未标注的定向干扰事件）仍是一个开放的研究问题。此外，定向干扰事件使得从目标声音事件中准确提取空间特征变得困难。为解决该问题，我们提出了一种脉冲响应模拟框架（IRS），其利用模拟房间脉冲响应（RIR）来增强空间特征。对应于假定放置于不同房间中的麦克风阵列的 RIR 被精确模拟，并从混合信号中提取目标声音事件的源信号。随后将模拟的 RIR 与提取的源信号进行卷积，以获得增强的多通道训练数据集。使用 TAU-NIGENS Spatial Sound Events 2021 数据集获得的评估结果表明，IRS 有助于提升整体 SELD 性能。此外，我们进行了消融实验以讨论 IRS 内各组成部分的贡献与必要性。
引用
@article{arxiv.2110.06501,
title = {Spatial Data Augmentation with Simulated Room Impulse Responses for Sound Event Localization and Detection},
author = {Yuichiro Koyama and Kazuhide Shigemi and Masafumi Takahashi and Kazuki Shimada and Naoya Takahashi and Emiru Tsunoo and Shusuke Takahashi and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2110.06501},
year = {2022}
}
备注
5 pages, 2 figures, accepted for publication in IEEE ICASSP 2022