辅助任务加速学习 PointGoal 导航
计算机视觉与模式识别
2020-11-06 v2 机器学习
机器人学
摘要
PointGoal 导航是一项具身任务，要求智能体在未见过的环境中导航至指定点。Wijmans 等人表明该任务是可解的，但他们的方法计算成本极高，需要 25 亿帧和 180 个 GPU 天。在本工作中，我们开发了一种方法，利用自监督辅助任务（例如，预测两次以自我为中心的观测之间采取的动作，预测轨迹中两次观测之间的距离等）来显著提高学习 PointNav 的样本和时间效率。我们发现，简单组合多个辅助任务可提高样本效率，但超过某一点后仅能带来边际收益。为克服这一问题，我们使用注意力机制来组合从各个辅助任务中学习到的表示。我们表现最好的智能体在 40M 帧时达到先前 SOTA DD-PPO 性能的速度快 5.5 倍，并且在 40M 帧时将 DD-PPO 的性能提高了 0.16 SPL。我们的代码已在 https://github.com/joel99/habitat-pointnav-aux 公开提供。
引用
@article{arxiv.2007.04561,
title = {Auxiliary Tasks Speed Up Learning PointGoal Navigation},
author = {Joel Ye and Dhruv Batra and Erik Wijmans and Abhishek Das},
journal= {arXiv preprint arXiv:2007.04561},
year = {2020}
}
备注
8 pages. Accepted to CoRL 2020