基于深度图像的由深度生成人脸用于头部姿态估计
计算机视觉与模式识别
2018-09-03 v2
摘要
深度相机能够建立可靠的人员监控与行为理解方案，尤其在光照不稳定或较差、导致普通 RGB 传感器无法使用的条件下。因此，我们提出了一种仅基于深度图像的头部与肩部姿态估计完整框架。该框架还包含头部检测与定位模块，以构成一个完整的端到端系统。框架的核心要素是一个称为 POSEidon+ 的卷积神经网络（Convolutional Neural Network），其接收三类图像作为输入，并输出姿态的 3D 角度。此外，一个基于确定性条件 GAN（Deterministic Conditional GAN）模型的由深度生成人脸（Face-from-Depth）组件能够从相应的深度图像中幻构出人脸。我们通过实验证明这会对系统性能产生积极影响。我们在两个公开数据集（即 Biwi Kinect Head Pose 和 ICT-3DHP）以及 Pandora（一个主要受汽车场景启发的新且具有挑战性的数据集）上测试了所提框架。实验结果表明，我们的方法超越了若干近期基于强度与深度输入数据的 SOTA（state-of-the-art）工作，并以超过每秒 30 帧的实时速度运行。
引用
@article{arxiv.1712.05277,
title = {Face-from-Depth for Head Pose Estimation on Depth Images},
author = {Guido Borghi and Matteo Fabbri and Roberto Vezzani and Simone Calderara and Rita Cucchiara},
journal= {arXiv preprint arXiv:1712.05277},
year = {2018}
}
备注
Submitted to IEEE Transactions on PAMI, updated version (second round). arXiv admin note: substantial text overlap with arXiv:1611.10195