HandyPriors：利用可微先验实现物理一致的手-物交互感知
计算机视觉与模式识别
2023-12-27 v3 机器人学
摘要
过去的工作提出了多种用于建模手-物交互的启发式目标。然而，由于缺乏统一的框架，这些目标往往适用范围狭窄，并受限于效率或精度。本文中，我们提出 HandyPriors，一种统一且通用的流水线，通过利用可微物理与渲染的最新进展，用于人-物交互场景中的姿态估计。我们的方法采用渲染先验以与输入图像及分割掩码对齐，并结合物理先验以减轻帧间的穿透与相对滑动。此外，我们给出了手与物体姿态估计的两种方案。基于优化的姿态估计可达到更高精度，而利用可微先验作为动力学与观测模型的基于滤波的跟踪则执行更快。我们证明 HandyPriors 在姿态估计任务中取得了可比或更优的结果，且可微物理模块能够预测接触信息以用于姿态精化。我们还展示了我们的方法可泛化至感知任务，包括机器人手操作以及野外的手-物姿态估计。
引用
@article{arxiv.2311.16552,
title = {HandyPriors: Physically Consistent Perception of Hand-Object Interactions with Differentiable Priors},
author = {Shutong Zhang and Yi-Ling Qiao and Guanglei Zhu and Eric Heiden and Dylan Turpin and Jingzhou Liu and Ming Lin and Miles Macklin and Animesh Garg},
journal= {arXiv preprint arXiv:2311.16552},
year = {2023}
}