面向精确三维人脸标志点定位的体素与坐标联合回归
计算机视觉与模式识别
2018-01-30 v1
摘要
3D 人脸形状比其 2D 对应物更具表现力且视角一致。然而,单图像中的 3D 面部标志点定位由于 3D 透视下标志点的模糊性而具有挑战性。现有方法通常采用次优的两步策略,先执行 2D 标志点定位再进行深度估计。在本文中,我们提出联合体素与坐标回归(JVCR)方法用于 3D 面部标志点定位,以端到端方式更有效地解决该问题。首先,提出一种紧凑的体素表示来编码位置为 3D 标志点的逐体素似然。该表示的维度不随目标标志点数量变化而固定,从而可避免维数灾难。然后,采用堆叠沙漏网络由粗到精地估计体素表示,随后接一个以估计体素为输入并回归人脸形状 3D 坐标的 3D 卷积网络。如此,标志点间的 3D 结构约束可由神经网络以更高效的方式学习。此外,所提流程支持端到端训练并提升了 3D 面部标志点定位的鲁棒性与准确性。我们方法的有效性在 3DFAW 和 AFLW2000-3D 数据集上得到验证。实验结果表明,与现有方法相比,所提方法取得了最先进的性能。
引用
@article{arxiv.1801.09242,
title = {Joint Voxel and Coordinate Regression for Accurate 3D Facial Landmark Localization},
author = {Hongwen Zhang and Qi Li and Zhenan Sun},
journal= {arXiv preprint arXiv:1801.09242},
year = {2018}
}
备注
Code available at https://github.com/HongwenZhang/JVCR-3Dlandmark