VisualEchoes：通过回声定位进行空间图像表示学习
计算机视觉与模式识别
2020-07-20 v2 声音
音频与语音处理
摘要
几种动物物种（例如蝙蝠、海豚和鲸鱼）甚至视障人类都具有执行回声定位的非凡能力：一种用于感知空间布局和定位世界中物体的生物声纳。我们探索了回声中所包含的空间线索，以及它们如何有益于需要空间推理的视觉任务。首先，我们在逼真的3D室内场景环境中捕获回声响应。然后，我们提出了一种新颖的基于交互的表示学习框架，通过回声定位学习有用的视觉特征。我们表明，学习到的图像特征对于多个需要空间推理的下游视觉任务——单目深度估计、表面法线估计和视觉导航——非常有用，其结果与大量监督预训练相当甚至更好。我们的工作为具身智能体的表示学习开辟了一条新路径，其中监督来自与物理世界的交互。
引用
@article{arxiv.2005.01616,
title = {VisualEchoes: Spatial Image Representation Learning through Echolocation},
author = {Ruohan Gao and Changan Chen and Ziad Al-Halah and Carl Schissler and Kristen Grauman},
journal= {arXiv preprint arXiv:2005.01616},
year = {2020}
}
备注
Appears in ECCV 2020