PhysHSI：面向实际场景的通用且自然的人形机械臂-场景交互系统

将人形机器人部署到实际环境中——如搬运物体或坐在椅子上——需要通用且逼真的运动和稳健的场景感知。尽管先前的方法在各个能力上取得了进展，但将它们整合到统一系统中仍是一个持续的挑战。本文提出了物理世界人形机械臂-场景交互系统 PhysHSI，使人形机器人能够在保持自然逼真行为的同时，自主执行多样化的交互任务。PhysHSI 包括仿真训练管道和实际部署系统。在仿真中，我们采用基于对抗性运动先验的策略学习，以复制多样化情景下的自然人形机械臂-场景交互数据，实现通用性和逼真行为。对于实际部署，我们引入一种粗到细的对象定位模块，将激光雷达和相机输入组合在一起，提供持续且稳健的场景感知。我们在仿真和实际环境中的四个典型交互任务（搬盒子、坐下、躺下、站起）对 PhysHSI 进行了验证，展示了持续的高成功率、跨多样化任务目标的强鲁棒性以及自然的运动模式。