6DoF SELD：利用麦克风和运动追踪传感器对自运动人体进行声音事件定位与检测
音频与语音处理
2024-03-05 v1 声音
摘要
我们旨在利用可穿戴设备（如行人）对运动人体进行声音事件定位与检测（SELD）。传统的SELD任务仅处理位于静态位置的麦克风阵列。然而，对于可穿戴麦克风阵列，必须考虑具有三个旋转自由度和三个平移自由度的自运动（6DoF）。仅使用固定位置麦克风阵列数据集训练的系统无法适应与自运动相关的声源快速相对运动，导致SELD性能下降。为解决这一问题，我们设计了用于可穿戴系统的6DoF SELD数据集，这是首个考虑麦克风自运动的SELD数据集。此外，我们提出了一种多模态SELD系统，联合利用音频和运动追踪传感器信号。这些传感器信号有望帮助系统根据当前自运动状态找到有用的声学线索。在我们数据集上的实验结果表明，所提方法通过一种由传感器信号调节的声学特征提取机制，有效提升了SELD性能。
引用
@article{arxiv.2403.01670,
title = {6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human},
author = {Masahiro Yasuda and Shoichiro Saito and Akira Nakayama and Noboru Harada},
journal= {arXiv preprint arXiv:2403.01670},
year = {2024}
}
备注
ICASSP2024 accepted