基于跨模态干扰消除的野外视觉声源定位

音视觉声源定位任务在音频干净受限场景下已被充分研究。然而，在真实场景中，音频通常受到屏外声音与背景噪声的污染。它们会干扰识别目标声源与建立视觉-声音关联的过程，使以往研究无法适用。本工作中，我们提出干扰消除器（IEr）框架，解决野外音视觉声源定位问题。其核心思想是通过重新定义与刻画判别性音频表示来消除干扰。具体而言，我们观察到以往仅学习单一音频表示的做法因音频信号的加性本质而不足。因此我们借助音频实例识别模块扩展音频表示，该模块在不同音量音频信号不均匀混合时清晰区分发声实例。随后，我们通过具有跨模态蒸馏的跨模态参照模块，消除可听但屏外声音与静音但可见物体的影响。定量与定性评估表明，所提框架在声源定位任务上取得优越结果，尤其在真实场景中。代码见 https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild。