真实感 PointGoal 导航是否必须建图？

自主智能体能否在不构建显式地图的情况下在新环境中导航？对于理想化设置（无 RGB-D 与执行器噪声、完美 GPS+Compass）下的 PointGoal 导航任务（'前往 $\Delta x$, $\Delta y$'），答案显然是'能'——由任务无关组件（CNN 与 RNN）组成、经大规模强化学习训练的无图神经网络模型在标准数据集（Gibson）上取得了 100% 成功率。然而，对于真实感设置（RGB-D 与执行器噪声、无 GPS+Compass）下的 PointNav，这是一个开放问题；我们在本文中对此加以研究。该任务已发表的最强结果为 71.7% 成功率。首先，我们确定了性能下降的主要（或许是唯一）原因：缺少 GPS+Compass。一个拥有完美 GPS+Compass、面对 RGB-D 感知与执行器噪声的智能体取得了 99.8% 成功率（Gibson-v2 val）。这表明（套用一句梗）鲁棒视觉里程计就是真实感 PointNav 所需的全部；若能实现它，我们便可忽略感知与执行器噪声。以此为操作假设，我们扩大了数据集与模型规模，并开发了无需人工标注的数据增强技术来训练视觉里程计模型。我们将 Habitat 真实感 PointNav 挑战赛的 SOTA 从 71% 提升至 94% 成功率（+23，相对 31%），以及从 53% 提升至 74% SPL（+21，相对 40%）。尽管我们的方法未使该数据集饱和或'解决'它，这一显著提升结合有前景的零样本 sim2real 迁移（至 LoCoBot）提供了与假设一致的证据：即便在真实感设置下，显式建图对于导航可能并非必要。