端到端自我球空间记忆
机器人学
2021-02-18 v2 人工智能
计算机视觉与模式识别
机器学习
神经与进化计算
摘要
空间记忆，即记住并回忆特定位置与物体的能力，是自主智能体在真实环境中执行任务的核心。然而，大多数现有人工记忆模块并不擅长存储空间信息。我们提出一个无参数模块——自我球空间记忆（ESM），其在智能体周围的自我球中编码记忆，从而实现富有表现力的 3D 表示。ESM 可通过模仿学习或强化学习进行端到端训练，并在无人机与机械臂视觉运动控制任务上相较于其他记忆基线提升了训练效率与最终性能。明确的自我中心几何结构也使我们能够无缝地将所学控制器与其他非学习的模态（如局部避障）结合。我们进一步展示了在 ScanNet 数据集上用于语义分割的应用，其中 ESM 自然结合了图像级与地图级推理模态。通过我们广泛的实验，我们表明 ESM 为具身空间推理提供了通用的计算图，且该模块在实时建图系统与可微记忆架构之间架起了桥梁。实现见：https://github.com/ivy-dl/memory。
引用
@article{arxiv.2102.07764,
title = {End-to-End Egospheric Spatial Memory},
author = {Daniel Lenton and Stephen James and Ronald Clark and Andrew J. Davison},
journal= {arXiv preprint arXiv:2102.07764},
year = {2021}
}
备注
Conference paper at ICLR 2021. Implementation: https://github.com/ivy-dl/memory Project page: https://djl11.github.io/ESM/