基于自监督三维表征的视觉强化学习
机器学习
2023-03-16 v2 机器人学
摘要
视觉强化学习（RL）的一种重要方法是通过自监督方法学习内部状态表征，其潜在优势在于通过额外的学习信号与归纳偏置提升样本效率与泛化能力。然而，真实世界本质上是三维的，而先前的研究主要集中于利用二维计算机视觉技术作为辅助自监督。本文提出一个用于运动控制的三维表征自监督学习的统一框架。我们提出的框架包含两个阶段：预训练阶段，在大规模以物体为中心的数据集上预训练一个基于体素的深度三维自编码器；微调阶段，将表征与RL在域内数据上联合微调。我们通过实验表明，相较于二维表征学习方法，我们的方法在模拟操作任务中享有更高的样本效率。此外，我们学到的策略在仅具有近似几何对应的情况下零样本迁移到真实机器人设置，并成功从单个未标定的RGB相机解决包含抓取与抬起的运动控制任务。代码与视频见 https://yanjieze.com/3d4rl/ 。
引用
@article{arxiv.2210.07241,
title = {Visual Reinforcement Learning with Self-Supervised 3D Representations},
author = {Yanjie Ze and Nicklas Hansen and Yinbo Chen and Mohit Jain and Xiaolong Wang},
journal= {arXiv preprint arXiv:2210.07241},
year = {2023}
}
备注
Accepted in RA-L 2023 and IROS 2023. Project page: https://yanjieze.com/3d4rl/