SALSA：用于复调声音事件定位与检测的空间线索增强对数谱图特征
摘要
声音事件定位与检测（SELD）由两个子任务组成，即声音事件检测和到达方向估计。声音事件检测主要依赖时频模式区分不同声音类别，而到达方向估计利用麦克风间的幅度和/或相位差来估计声源方向。因此，联合优化这两个子任务往往困难。我们提出一种称为空间线索增强对数谱图（SALSA）的新特征，其在信号功率与声源方向线索间具有精确的时频映射，这对分辨重叠声源至关重要。SALSA 特征由多通道对数谱图与每个对应时频 bin 上空间协方差矩阵归一化主特征向量堆叠而成。根据麦克风阵列格式不同，主特征向量可以不同方式归一化以提取麦克风间的幅度和/或相位差。因此，SALSA 特征适用于不同麦克风阵列格式，如一级 ambisonics（FOA）和多通道麦克风阵列（MIC）。在带有方向性干扰的 TAU-NIGENS Spatial Sound Events 2021 数据集上的实验结果表明，SALSA 特征优于其他最先进特征。具体而言，在 FOA 格式中使用 SALSA 特征相较带强度向量的多通道对数梅尔谱图，F1 分数和定位召回率各提升 6%。在 MIC 格式中，使用 SALSA 特征相较使用带广义互相关谱的多通道对数梅尔谱图，F1 分数和定位召回率分别提升 16% 和 7%。
引用
@article{arxiv.2110.00275,
title = {SALSA: Spatial Cue-Augmented Log-Spectrogram Features for Polyphonic Sound Event Localization and Detection},
author = {Thi Ngoc Tho Nguyen and Karn N. Watcharasupat and Ngoc Khanh Nguyen and Douglas L. Jones and Woon-Seng Gan},
journal= {arXiv preprint arXiv:2110.00275},
year = {2022}
}
备注
(c) 2022 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works