基于场景启发掩码的交互式双Conformer软声音事件检测
音频与语音处理
2023-12-08 v2
摘要
传统的用于声音事件检测（SED）的二值硬标签缺乏关于声音事件分布复杂性与可变性的细节。近来，一种新颖的标注流程被提出以生成细粒度的非二值软标签，由此产生了一个名为MAESTRO Real的新的真实场景SED数据集。在本文中，我们首先提出一种交互式双Conformer（IDC）模块，其中应用了交叉交互机制以有效利用来自软标签的信息。此外，一种基于软标签的新型场景启发掩码（SIM）被引入以实现更精确的SED预测。该SIM最初通过统计方法生成，称为SIM-V1。然而，固定的人工掩码可能与SED模型不匹配，导致效果有限。因此，我们进一步提出SIM-V2，其采用词嵌入模型进行自适应的SIM估计。实验结果表明，所提出的IDC模块能有效利用来自软标签的信息，且SIM-V1的集成可进一步提高准确率。此外，探讨了不同词嵌入维度对SIM-V2的影响，结果表明合适的维度可使SIM-V2取得优于SIM-V1的性能。在DCASE 2023挑战赛Task4B中，所提出的系统在MAESTRO Real的评估数据集上取得了排名第一的性能。
引用
@article{arxiv.2311.14068,
title = {Interactive Dual-Conformer with Scene-Inspired Mask for Soft Sound Event Detection},
author = {Han Yin and Jisheng Bai and Mou Wang and Dongyuan Shi and Woon-Seng Gan and Jianfeng Chen},
journal= {arXiv preprint arXiv:2311.14068},
year = {2023}
}
备注
to be improved (unfinished)