面向物体感知三维自我姿态估计的运动学引导强化学习
计算机视觉与模式识别
2020-12-10 v3
摘要
我们提出一种利用头戴式相机将物体交互与人体动力学纳入三维自我姿态估计任务的方法。我们使用人体运动学模型表示人体运动的全部范围,并使用人体动力学模型在物理模拟器内与物体交互。通过将物体建模、运动学建模与动力学建模结合于强化学习(RL)框架中,我们实现了物体感知的三维自我姿态估计。我们通过状态与动作空间的设计设计了若干表征创新,以纳入三维场景上下文并改善姿态估计质量。我们还构建了一个微调步骤以纠正漂移并精炼估计的人-物交互。这是首项从自我中心视频中估计出与物体(如椅子、箱子、障碍物)物理合理的三维全身交互序列的工作。在受控与真实场景下的实验表明,我们的方法能成功提取与物理定律一致的物体条件化三维自我姿态序列。
引用
@article{arxiv.2011.04837,
title = {Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation},
author = {Zhengyi Luo and Ryo Hachiuma and Ye Yuan and Shun Iwase and Kris M. Kitani},
journal= {arXiv preprint arXiv:2011.04837},
year = {2020}
}
备注
Project website: https://zhengyiluo.github.io/projects/contextegopose/