机器人预训练机器人：来自大规模机器人数据集的以操作为中心的机器人表征
机器人学
2024-10-31 v2 人工智能
计算机视觉与模式识别
摘要
视觉表征的预训练提升了机器人学习的效率。由于缺乏大规模领域内机器人数据集，先前的工作利用野生人类视频来预训练机器人视觉表征。尽管结果令人鼓舞，但来自人类视频的表征不可避免地存在分布偏移，并且缺乏对任务完成至关重要的动力学信息。我们首先评估了各种预训练表征与下游机器人操作任务的相关性（即操作中心性）。有趣的是，我们发现“操作中心性”是应用于下游任务时成功率的一个强有力指标。基于这些发现，我们提出了以操作为中心的表征（MCR），这是一个基础表征学习框架，它同时捕获视觉特征以及操作任务的动力学信息（如动作和本体感知），以提高操作中心性。具体来说，我们在 DROID 机器人数据集上预训练一个视觉编码器，并利用与运动相关的数据，如机器人本体感知状态和动作。我们引入了一种新颖的对比损失，将视觉观察与机器人的本体感知状态-动作动力学对齐，并结合一个类似行为克隆（BC）的 actor 损失在预训练期间预测动作，以及一个时间对比损失。在 4 个模拟领域共 20 项任务上的实证结果验证了 MCR 比最强基线方法性能高出 14.8%。此外，MCR 在 3 个真实世界任务中，将使用 UR5e 机械臂的数据高效学习性能提升了 76.9%。项目网站：https://robots-pretrain-robots.github.io/。
引用
@article{arxiv.2410.22325,
title = {Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets},
author = {Guangqi Jiang and Yifei Sun and Tao Huang and Huanyu Li and Yongyuan Liang and Huazhe Xu},
journal= {arXiv preprint arXiv:2410.22325},
year = {2024}
}