闻声捕我：复杂未建图环境中带移动声源的视听导航
声音
2023-01-04 v4 计算机视觉与模式识别
机器学习
机器人学
音频与语音处理
摘要
视听导航结合视觉与听觉，在未建图环境中导航至发声源。尽管近期方法已展示音频输入在检测与寻找目标方面的益处，但它们聚焦于干净且静态的声源，难以泛化至未听过的声音。在本工作中，我们提出新颖的动态视听导航基准，其要求在具有噪声与干扰声音的环境中捕捉移动声源，带来一系列新挑战。我们引入一种强化学习方法，为这些复杂设置学习鲁棒的导航策略。为此，我们提出一种在空间特征空间中融合视听信息的架构，以学习局部地图与音频信号中固有的几何信息相关性。我们证明，在 Matterport3D 与 Replica 两个具挑战性的三维扫描真实世界环境中，我们的方法在所有移动声音、未听过声音与噪声环境任务上均以大幅优势持续超越当前最先进水平。基准可从 http://dav-nav.cs.uni-freiburg.de 获取。
引用
@article{arxiv.2111.14843,
title = {Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds},
author = {Abdelrahman Younes and Daniel Honerkamp and Tim Welschehold and Abhinav Valada},
journal= {arXiv preprint arXiv:2111.14843},
year = {2023}
}
备注
This paper has been accepted for publication at IEEE ROBOTICS AND AUTOMATION LETTERS