通过近似可微物理从视频中学习物体操控技能

我们旨在让机器人通过观看单个视频演示来学习执行简单的物体操控任务。为此，我们提出了一种优化方法，输出一个粗略且随时间演化的3D场景，以模仿输入视频中演示的动作。与先前工作类似，可微渲染器确保3D场景与2D视频之间的感知一致性。我们的关键创新在于引入一种可微方法来求解一组常微分方程（ODEs），使我们能够近似建模重力、摩擦力以及手-物体或物体-物体相互作用等物理规律。这不仅使我们能够显著提升估计的手部与物体状态的质量，还能产生物理上可容许的轨迹，可直接迁移至机器人而无需昂贵的强化学习。我们在一个由54个视频演示组成的3D重建任务上评估了我们的方法，这些演示来源于9种动作，如从右向左拉某物或将某物放在某物前面。我们的方法比先前最先进水平提升了近30%，在涉及两个物体物理相互作用的尤其具有挑战性的动作（如将某物置于某物上）上展现出优越质量。最后，我们在Franka Emika Panda机器人上展示了所学技能。