视觉与语言导航的仿真到现实迁移
计算机视觉与模式识别
2020-11-10 v1 计算与语言
机器人学
摘要
我们研究一个具有挑战性的问题：将机器人释放于此前未见的环境中，并使其遵循无约束的自然语言导航指令。视觉与语言导航(VLN)任务近期的研究在仿真中取得了显著进展。为评估该工作对机器人学的意义，我们将仿真中训练的 VLN 智能体迁移到物理机器人上。为弥合 VLN 智能体学习到的高层离散动作空间与机器人低层连续动作空间之间的差距，我们提出一个子目标模型以识别附近路径点，并使用域随机化来缓解视觉域差异。为在平行环境中进行准确的仿真与现实对比，我们标注了一处 325m² 的办公空间及 1.3km 的导航指令，并在仿真中创建数字化复现。我们发现，若可提前采集并标注占用图和导航图，则向训练未见过环境的仿真到现实迁移是成功的（成功率 46.8% 对比仿真中 55.9%），但在完全无先验建图的最困难设定下则更具挑战性（成功率 22.5%）。
引用
@article{arxiv.2011.03807,
title = {Sim-to-Real Transfer for Vision-and-Language Navigation},
author = {Peter Anderson and Ayush Shrivastava and Joanne Truong and Arjun Majumdar and Devi Parikh and Dhruv Batra and Stefan Lee},
journal= {arXiv preprint arXiv:2011.03807},
year = {2020}
}
备注
CoRL 2020