MarginNCE: 基于负边界的鲁棒声源定位
计算机视觉与模式识别
2022-11-04 v1 多媒体
声音
音频与语音处理
图像与视频处理
摘要
本工作的目标是以自监督方法在视觉场景中定位声源。声源定位中的对比学习利用了音频与视觉信号之间的自然对应关系,其中来自同一来源的音视对被假定为正样本,而随机选取的对为负样本。然而,该方法引入了噪声对应;例如,可能彼此无关的正音频与视觉对信号,或可能包含与正样本语义相似样本的负对。我们在本工作中的关键贡献是表明在对比学习中使用较宽松的决策边界可缓解噪声对应在声源定位中的影响。我们提出一种简单而有效的方法,通过对对比损失稍作修改引入负边界。大量实验结果表明,我们的方法与最先进方法性能相当或更好。此外,我们证明在现有方法中引入负边界可带来一致的性能提升。
引用
@article{arxiv.2211.01966,
title = {MarginNCE: Robust Sound Localization with a Negative Margin},
author = {Sooyoung Park and Arda Senocak and Joon Son Chung},
journal= {arXiv preprint arXiv:2211.01966},
year = {2022}
}
备注
Submitted to ICASSP 2023. SOTA performance in Audio-Visual Sound Localization. 5 Pages