Gripper Keypose 与 Object Pointflow：双手机器人操作的接口
机器人学
2025-04-25 v1
摘要
双手操作是一项具有挑战性且至关重要的机器人能力，要求实现精确的空间定位和灵活的运动轨迹，这给现有方法带来了显著挑战。现有方法可分为两类：关键帧式方法预测关键帧中的夹持器姿态并通过运动规划执行；连续控制方法在每个时间步估计动作。关键帧式方法缺乏帧间监督，难以持续一致地执行曲线运动，而连续方法在空间感知方面较弱。为解决这些问题，本文引入了端到端框架PPI（keyPose和Pointflow接口），集成目标夹持器姿态和物体点云运动的预测，同时估计连续动作。这些接口使模型能够有效关注目标操作区域，而整体框架引导多样且碰撞自由的轨迹。通过将接口预测与连续动作估计结合，PPI在多样化的双手操作任务中表现出优越性能，实现了精准的空间定位，并在处理运动限制方面提供了令人满意的灵活性。在大量评估中，PPI在模拟和真实世界实验中均显著优于先前方法，在RLBench2模拟基准上提升16.1%，在四项具有挑战性的真实世界任务中平均提升27.5%。值得注意的是，PPI在真实场景中表现出强大的稳定性、高精度和卓越的泛化能力。项目页面：https://yuyinyang3y.github.io/PPI/
引用
@article{arxiv.2504.17784,
title = {Gripper Keypose and Object Pointflow as Interfaces for Bimanual Robotic Manipulation},
author = {Yuyin Yang and Zetao Cai and Yang Tian and Jia Zeng and Jiangmiao Pang},
journal= {arXiv preprint arXiv:2504.17784},
year = {2025}
}
备注
Published at Robotics: Science and Systems (RSS) 2025