基于条件估计的自监督三维人脸重建
计算机视觉与模式识别
2021-10-12 v1 机器学习
图像与视频处理
摘要
我们提出一种条件估计（CEST）框架，通过来自视频的自监督训练从二维单视图图像中学习三维面部参数。CEST 基于分析-合成的过程，即从人脸图像中估计三维面部参数（形状、反射率、视角和光照），然后将其重新组合以重建二维人脸图像。为了在没有显式标签的情况下学习具有语义意义的三维面部参数，CEST 通过考虑不同三维面部参数之间的统计依赖关系将其估计相耦合。具体而言，任一三维面部参数的估计不仅以给定图像为条件，还以已推导出的面部参数为条件。此外，采用视频帧间的反射率对称性与一致性来改善面部参数的解耦。结合一种引入反射率对称性与一致性的新策略，CEST 可使用野外视频片段进行高效训练。定性与定量实验均证明了 CEST 的有效性。
引用
@article{arxiv.2110.04800,
title = {Self-Supervised 3D Face Reconstruction via Conditional Estimation},
author = {Yandong Wen and Weiyang Liu and Bhiksha Raj and Rita Singh},
journal= {arXiv preprint arXiv:2110.04800},
year = {2021}
}
备注
ICCV 2021 (15 pages)