Multi-ACCDOA：利用辅助复制置换不变训练定位与检测同类重叠声源
音频与语音处理
2022-03-29 v2 声音
摘要
声音事件定位与检测（SELD）涉及识别到达方向（DOA）和事件类别。具有类级输出格式的 SELD 方法使模型预测所有声音事件类的活动及对应位置。类级方法可输出活动耦合笛卡尔 DOA（ACCDOA）向量，使我们能用单一网络以单一目标解决 SELD 任务。然而，从多个位置检测同一事件类仍具挑战。为在保持类级格式优势的同时克服该问题，我们将 ACCDOA 扩展为多目标格式，并提出辅助复制置换不变训练（ADPIT）。多 ACCDOA 格式（一种类级与轨迹级输出格式）使模型能解决同类重叠的情况。类级 ADPIT 方案使多 ACCDOA 格式的每条轨迹都能以与单 ACCDOA 格式相同的目标进行学习。在使用 DCASE 2021 Task 3 数据集的评估中，以多 ACCDOA 格式和类级 ADPIT 训练的模型可检测同类重叠事件，同时在其他情况下保持性能。此外，所提方法以更少的参数取得了与最先进 SELD 方法相当的性能。
引用
@article{arxiv.2110.07124,
title = {Multi-ACCDOA: Localizing and Detecting Overlapping Sounds from the Same Class with Auxiliary Duplicating Permutation Invariant Training},
author = {Kazuki Shimada and Yuichiro Koyama and Shusuke Takahashi and Naoya Takahashi and Emiru Tsunoo and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2110.07124},
year = {2022}
}
备注
5 pages, 3 figures, accepted for publication in IEEE ICASSP 2022