基于物理的刚体对象追踪与来自RGB-D视频的摩擦滤波

从感知观测中对对象交互进行基于物理的理解是增强现实与机器人学的一项关键能力。它得以捕获场景属性用于仿真与控制。本文提出一种新颖的real-to-sim方法，从RGB-D图像追踪3D刚体对象并推断对象物理属性。我们在扩展卡尔曼滤波中使用可微物理仿真作为状态转移模型，其可对任意基于网格的形状建模接触与摩擦，并由此估计物理合理的轨迹。我们展示该方法可滤波位置、朝向、速度，并同时估计对象摩擦系数。我们在合成单对象与碰撞对象图像序列的多种滑动场景中分析该方法，并在真实世界数据集上展示与评估。我们公开新基准数据集以促进该新问题设定下的未来研究及与本公司方法的比较。