通过预测交互学习操作
机器人学
2024-06-04 v1 计算机视觉与模式识别
摘要
近年来，用于机器人操作的表征学习方法蓬勃发展。由于领域内机器人数据的稀缺，主流方法倾向于利用大规模人类视频数据集提取可泛化特征用于视觉运动策略学习。尽管取得了进展，先前的工作忽略了捕捉操作过程中行为模式和物理交互的交互动态，导致对物体与环境之间关系的理解不足。为此，我们提出一个通用的预训练流程，通过学习预测交互（MPI）来增强视觉表征。给定表示初始状态和最终状态的一对关键帧以及语言指令，我们的算法分别预测过渡帧并检测交互对象。这两个学习目标实现了对“如何交互”和“何处交互”的卓越理解。我们在几个具有挑战性的机器人任务上进行了全面评估。实验结果表明，与之前的最先进方法相比，MPI在真实机器人平台和仿真环境中均实现了10%到64%的显著提升。代码和检查点已在https://github.com/OpenDriveLab/MPI公开。
引用
@article{arxiv.2406.00439,
title = {Learning Manipulation by Predicting Interaction},
author = {Jia Zeng and Qingwen Bu and Bangjun Wang and Wenke Xia and Li Chen and Hao Dong and Haoming Song and Dong Wang and Di Hu and Ping Luo and Heming Cui and Bin Zhao and Xuelong Li and Yu Qiao and Hongyang Li},
journal= {arXiv preprint arXiv:2406.00439},
year = {2024}
}
备注
Accepted to RSS 2024. Project page: https://github.com/OpenDriveLab/MPI