用于鸟类鸣声检测的均衡深度典型相关分析
声音
2022-11-18 v1 机器学习
音频与语音处理
摘要
当事件被两种不同模态而非单一模态捕获时，事件检测性能会提升。但训练多模态检测系统具有挑战性，尤其在存在大量未标注数据而标注数据有限的情况下。我们开发了一种新颖的用于多模态数据的自监督学习技术，该技术学习同时记录的麦克风（声音）信号与加速度计（身体振动）信号之间的（隐藏）相关性。这项工作的关键目标是在标注数据稀缺且感兴趣的音频事件（鸣禽鸣声）稀疏时，学习对下游事件检测任务具有高性能的有用嵌入。我们的方法基于深度典型相关分析（DCCA），而 DCCA 受事件稀疏性影响。我们通过首先从标注数据学习数据采样模型，并将 DCCA 应用于其产生的输出来克服正标签的稀疏性。这一我们称为均衡 DCCA（b-DCCA）的方法相较于经典 DCCA 提升了无监督嵌入在下游有监督音频检测任务上的性能。由于数据标签经常不平衡，我们的方法可能在低资源场景中具有广泛效用。
引用
@article{arxiv.2211.09376,
title = {Balanced Deep CCA for Bird Vocalization Detection},
author = {Sumit Kumar and B. Anshuman and Linus Ruettimann and Richard H. R. Hahnloser and Vipul Arora},
journal= {arXiv preprint arXiv:2211.09376},
year = {2022}
}