DSFNet：用于遮挡鲁棒三维稠密人脸对齐的双空间融合网络
计算机视觉与模式识别
2023-05-22 v1
摘要
对严重遮挡与大视角敏感的缺陷限制了现有单目三维稠密人脸对齐方法的使用场景。最先进的基于 3DMM 的方法直接回归模型系数，未充分利用低层二维空间与语义信息，而这类信息实际上可为人脸形状与朝向提供线索。本文中，我们展示了如何在图像空间与模型空间中联合建模三维面部几何，以解决遮挡与视角问题。我们不直接预测整张人脸，而是先通过稠密预测回归可见面部区域的图像空间特征。随后，基于可见区域回归所得特征预测模型系数，借助可变形模型提供的整脸几何先验知识补全不可见区域。我们进一步提出一种融合网络，结合图像空间与模型空间预测的优势，以在非受限场景下实现高鲁棒性与高精度。得益于所提融合模块，我们的方法不仅对遮挡及大俯仰与翻滚视角鲁棒（此为图像空间方法的优势），也对噪声与大偏航视角鲁棒（此为模型空间方法的优势）。综合评估表明，相较最先进方法，我们的方法具有更优性能。在三维稠密人脸对齐任务上，我们在 AFLW2000-3D 数据集上取得 3.80% 的 NME，优于最先进方法 5.5%。代码见 https://github.com/lhyfst/DSFNet。
引用
@article{arxiv.2305.11522,
title = {DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face Alignment},
author = {Heyuan Li and Bo Wang and Yu Cheng and Mohan Kankanhalli and Robby T. Tan},
journal= {arXiv preprint arXiv:2305.11522},
year = {2023}
}
备注
Accepted into CVPR'23