基于视觉的机械臂也需要从手中观察
机器人学
2022-03-25 v1 计算机视觉与模式识别
机器学习
摘要
我们研究在基于原始传感器观测的物理操控中，视觉视角的选择如何影响学习与泛化。与更常用的全局第三人称视角相比，以手为中心（眼在手）的视角可观测性降低，但我们发现它始终能提升训练效率与分布外泛化能力。这些益处跨越多种学习算法、实验设定与分布偏移，并适用于仿真与真实机器人装置。然而，仅当以手为中心的可观测性充足时才如此；否则，包含第三人称视角对学习是必要的，但也会损害分布外泛化。为缓解此问题，我们提出通过变分信息瓶颈对第三人称信息流进行正则化。在源自 Meta-World 基准的六个具有不同以手为中心可观测性的代表性操控任务上，由此得到一种利用双视角的最先进强化学习智能体，在每个任务上都改善了其分布外泛化。尽管一些实践者早已将相机置于机器人手中，我们的工作系统分析了这样做的好处，并提供了简单且广泛适用的见解以改进端到端学习的基于视觉的机器人操控。
引用
@article{arxiv.2203.12677,
title = {Vision-Based Manipulators Need to Also See from Their Hands},
author = {Kyle Hsu and Moo Jin Kim and Rafael Rafailov and Jiajun Wu and Chelsea Finn},
journal= {arXiv preprint arXiv:2203.12677},
year = {2022}
}
备注
First two authors contributed equally. ICLR 2022 (oral) camera-ready. 30 pages, 20 figures. Project website: https://sites.google.com/view/seeing-from-hands