中文

用于DCASE 2024挑战的Squeeze-and-Excite ResNet-Conformer声音事件定位、检测与距离估计

音频与语音处理 2024-07-15 v1

摘要

本技术报告详细介绍了我们为第3任务提交的系统,该任务为DCASE 2024挑战:音频和音视频声音事件定位与检测(SELD)伴随源距离估计(SDE)。我们仅针对音频-only SELD with SDE(SELDDE)任务作出报告。我们提出通过在现有ResNet-Conformer架构中引入Squeeze-and-Excitation模块,以引入额外的通道级和空间级注意力。在提升SELD性能方面,我们还利用Spatial Cue-Augmented Log-Spectrogram(SALSA)特征,而非常用的log-mel谱特征用于多音声SELD。我们补充了Sony-TAu现实空间声景2023年(STARSS23)数据集,通过音频通道置换技术合成额外数据,并使用SpatialScaper生成器进行数据合成。我们还进行距离缩放,以防止大距离误差对损失函数的贡献过大。最终,我们在STARSS23数据集的评估子集上评估了我们的方法。

关键词

引用

@article{arxiv.2407.09021,
  title  = {Squeeze-and-Excite ResNet-Conformers for Sound Event Localization, Detection, and Distance Estimation for DCASE 2024 Challenge},
  author = {Jun Wei Yeow and Ee-Leng Tan and Jisheng Bai and Santi Peksi and Woon-Seng Gan},
  journal= {arXiv preprint arXiv:2407.09021},
  year   = {2024}
}

备注

Technical report for DCASE 2024 Challenge Task 3