中文

Spatial Scaper:一个用于在真实房间中模拟和增强声景以进行声音事件定位与检测的库

音频与语音处理 2024-01-24 v1 机器学习 声音

摘要

声音事件定位与检测(SELD)是机器听觉中的一项重要任务。其主要进展依赖于在特定房间中带有声音事件和强时空标签的模拟数据。SELD数据是通过将空间定位的房间脉冲响应(RIR)与声音波形进行卷积来模拟的,以将声音事件放置在声景中。然而,RIR需要在特定房间中手动采集。我们提出了SpatialScaper,一个用于SELD数据模拟和增强的库。与现有工具相比,SpatialScaper通过尺寸和墙壁吸声等参数来模拟虚拟房间。这允许对前景和背景声源进行参数化放置(包括移动)。SpatialScaper还包含可应用于现有SELD数据的数据增强流水线。作为一个案例研究,我们使用SpatialScaper向DCASE SELD数据添加房间。使用我们的数据训练模型,其性能的提升是声学多样性的直接函数。这些结果表明,SpatialScaper对于训练鲁棒的SELD模型很有价值。

关键词

引用

@article{arxiv.2401.12238,
  title  = {Spatial Scaper: A Library to Simulate and Augment Soundscapes for Sound Event Localization and Detection in Realistic Rooms},
  author = {Iran R. Roman and Christopher Ick and Sivan Ding and Adrian S. Roman and Brian McFee and Juan P. Bello},
  journal= {arXiv preprint arXiv:2401.12238},
  year   = {2024}
}

备注

5 pages, 4 figures, 1 table, to be presented at ICASSP 2024 in Seoul, South Korea