BatVision：用两只耳朵学习感知三维空间布局
计算机视觉与模式识别
2020-03-20 v3 机器人学
声音
音频与语音处理
摘要
许多物种已进化出先进的非视觉感知能力，而人工系统则相对落后。雷达与超声波可补充基于相机的视觉，但它们通常设置成本高且复杂，而信息增益极为有限。在自然界中，蝙蝠、海豚、鲸鱼和人类有效地利用声音进行导航与通信。然而，如何最好地利用声音用于机器感知尚不清楚。受蝙蝠回声定位机制启发，我们设计了一种低成本的 BatVision 系统，仅通过两只耳朵聆听即可感知前方空间的三维布局。我们的系统通过扬声器发射短啁啾声，并通过人工人耳耳廓对中的麦克风记录返回回声。在训练期间，我们额外使用立体相机捕获彩色图像以计算场景深度。我们训练一个模型仅从声音预测深度图甚至灰度图像。在测试时，我们训练好的 BatVision 仅从两个一维音频信号即可对二维视觉场景给出令人惊讶的良好预测。这种声到视觉系统将有助于机器人导航与机器视觉，尤其在弱光或无光条件下。我们的代码与数据已公开可用。
引用
@article{arxiv.1912.07011,
title = {BatVision: Learning to See 3D Spatial Layout with Two Ears},
author = {Jesper Haahr Christensen and Sascha Hornauer and Stella Yu},
journal= {arXiv preprint arXiv:1912.07011},
year = {2020}
}