基于光学非视距物理的3D人体姿态估计
计算机视觉与模式识别
2020-04-02 v1 机器学习
机器人学
图像与视频处理
摘要
我们描述了一种从光学非视距(NLOS)成像系统获取的瞬态图像(即光子的三维时空直方图)中进行3D人体姿态估计的方法。我们的方法可通过利用环境间接反射的光“绕角观察”来感知3D人体姿态。我们汇集了来自NLOS成像、人体姿态估计和深度强化学习的多种技术,构建了一个端到端的数据处理流水线,将原始光子测量流转换为完整的3D人体姿态序列估计。我们的贡献在于数据表示过程的设计,包括:(1)一个可学习的逆点扩散函数(PSF),用于将原始瞬态图像转换为深度特征向量;(2)一个以瞬态图像特征为条件并从与物理模拟器交互中学习得到的人形控制策略神经网络;(3)一种基于深度数据、可迁移至真实世界NLOS成像系统的数据合成与增强策略。我们的初步实验表明,我们的方法能够泛化到真实世界NLOS测量,以估计物理有效的3D人体姿态。
引用
@article{arxiv.2003.14414,
title = {Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation},
author = {Mariko Isogawa and Ye Yuan and Matthew O'Toole and Kris Kitani},
journal= {arXiv preprint arXiv:2003.14414},
year = {2020}
}
备注
CVPR 2020. Video: https://youtu.be/4HFulrdmLE8. Project page: https://marikoisogawa.github.io/project/nlos_pose