融合可穿戴 IMU 与多视角图像进行人体姿态估计的几何方法
计算机视觉与模式识别
2020-04-13 v2
摘要
我们提出从多视角图像和附着于人体四肢的少量 IMU 估计三维人体姿态。该方法首先分别从两种信号检测二维姿态，再将其提升到三维空间。我们提出一种几何方法，基于 IMU 增强每一对关节的视觉特征。这在某一关节被遮挡时尤其提高了二维姿态估计精度。我们称此方法为方向正则化网络（ORN）。随后，我们通过方向正则化图像结构模型（ORPSM）将多视角二维姿态提升到三维空间，该模型联合最小化三维与二维姿态间的投影误差，以及三维姿态与 IMU 方向间的偏差。这一简单的两步方法在公开数据集上将最先进方法的误差大幅降低。我们的代码将于 https://github.com/CHUNYUWANG/imu-human-pose-pytorch 发布。
引用
@article{arxiv.2003.11163,
title = {Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach},
author = {Zhe Zhang and Chunyu Wang and Wenhu Qin and Wenjun Zeng},
journal= {arXiv preprint arXiv:2003.11163},
year = {2020}
}
备注
Accepted by CVPR 2020. Code is released at https://github.com/CHUNYUWANG/imu-human-pose-pytorch