RAFaRe：从伪2D&3D配对中学习鲁棒且精确的非参数化三维人脸重建
计算机视觉与模式识别
2023-02-14 v1
摘要
我们提出了一种用于单视图三维人脸重建（SVFR）的鲁棒且精确的非参数化方法。尽管已有大量工作致力于参数化SVFR，但重建出的三维形状与真实值之间仍存在明显差距。我们认为存在两大障碍：1）参数化模型的表征受限于特定人脸数据库；2）拟合数据集中二维图像与三维形状明显未对齐。为解决这些问题，我们首先渲染精细三维人脸，再将渲染人脸替换到自然场景图像中，从而构建大规模伪2D&3D数据集。这些伪2D&3D配对由公开可用数据集生成，消除了二维与三维数据之间的差距，同时涵盖了多样的外观、姿态、场景与光照。我们进一步提出一种非参数化方案，从所构建的数据集中学习具有良好泛化能力的SVFR模型，并且所提出的分层符号距离函数（hierarchical signed distance function）在预测中尺度和小尺度三维面部几何上表现有效。我们的模型在FaceScape-wild/lab与MICC基准上优于以往方法，并对各种外观、姿态、表情及自然场景环境具有良好泛化性。代码发布于 http://github.com/zhuhao-nju/rafare。
引用
@article{arxiv.2302.05486,
title = {RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs},
author = {Longwei Guo and Hao Zhu and Yuanxun Lu and Menghua Wu and Xun Cao},
journal= {arXiv preprint arXiv:2302.05486},
year = {2023}
}
备注
Accepted to AAAI 2023 (Oral)