SALSA-Lite:一种用于麦克风阵列复音声音事件定位与检测的快速有效特征
音频与语音处理
2022-06-07 v2 声音
摘要
复音声音事件定位与检测(SELD)在声学感知与监测中有许多实际应用。然而,实时SELD的发展受到近期多数SELD系统苛刻计算需求的限制。在本工作中,我们引入SALSA-Lite,一种用于麦克风阵列输入的复音SELD的快速有效特征。SALSA-Lite是先前提出的用于复音SELD的SALSA特征的轻量变体。SALSA代表空间线索增强对数谱图(Spatial Cue-Augmented Log-Spectrogram),由多通道对数谱图沿通道维度与谱时间对应空间协方差矩阵的归一化主特征向量堆叠而成。与采用基于特征向量的空间特征的SALSA不同,SALSA-Lite使用归一化通道间相位差作为空间特征,相比原始SALSA特征实现了30倍加速。在TAU-NIGENS空间声音事件2021数据集上的实验结果表明,SALSA-Lite特征取得了与完整SALSA特征相当的性能,并显著优于多通道对数梅尔谱图结合广义互相关谱的传统特征集。具体而言,使用SALSA-Lite特征相比使用多通道对数梅尔谱图结合广义互相关谱,将定位相关F1分数和类别相关定位召回率分别提高了15%和5%。
引用
@article{arxiv.2111.08192,
title = {SALSA-Lite: A Fast and Effective Feature for Polyphonic Sound Event Localization and Detection with Microphone Arrays},
author = {Thi Ngoc Tho Nguyen and Douglas L. Jones and Karn N. Watcharasupat and Huy Phan and Woon-Seng Gan},
journal= {arXiv preprint arXiv:2111.08192},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2110.00275