DeepSimHO:基于物理模拟的手物交互稳定姿态估计
计算机视觉与模式识别
2023-12-12 v3
摘要
本文研究从单张图像观测估计与物体交互的手部3D姿态的任务。在建模手物交互时,以往工作主要利用邻近线索,忽视了手必须稳定抓握物体以抵消重力、防止物体滑落或掉落这一动力学本质。这些工作未能在估计中利用动力学约束,因而常产生不稳定结果。同时,用基于物理的推理优化不稳定构型仍具挑战性,既源于接触动力学的复杂性,也源于数据驱动学习框架中缺乏有效且高效的物理推断。为解决这两方面的问题,我们提出DeepSimHO:一种结合前向物理模拟与反向梯度近似(借助神经网络)的新型深度学习流水线。具体而言,对于基础网络估计的初始手物姿态,我们将其前向送入物理模拟器以评估稳定性。然而,由于非光滑接触几何与穿透,现有可微模拟器无法提供可靠的状态梯度。为此,我们进一步引入深度网络从模拟器学习稳定性评估过程,同时平滑近似其梯度,从而实现有效的反向传播。大量实验表明,我们的方法显著提升了估计的稳定性,并在测试时优化上实现了更优效率。代码见https://github.com/rongakowang/DeepSimHO。
引用
@article{arxiv.2310.07206,
title = {DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via Physics Simulation},
author = {Rong Wang and Wei Mao and Hongdong Li},
journal= {arXiv preprint arXiv:2310.07206},
year = {2023}
}
备注
Accepted to NeurIPS 2023