基于隐式函数学习的多视角图像精细人脸几何恢复
计算机视觉与模式识别
2022-05-06 v2
摘要
从一组已标定的多视角图像中恢复精细人脸几何因其广泛应用而具有重要价值。传统的多视角立体（MVS）方法采用基于优化的方案来正则化匹配代价。近来，基于学习的方法将这一切整合到一个端到端神经网络中，并展现出效率优势。在本文中，我们提出一种新颖的架构，在数十秒内恢复极精细的 3D 人脸。与先前通过 3D CNN 正则化代价体的基于学习的方法不同，我们提出学习一个用于回归匹配代价的隐式函数。通过从多视角图像拟合一个 3D 可变形模型，多幅图像的特征被提取并聚合在网格附着的 UV 空间中，这使得隐式函数在恢复精细人脸形状方面更加有效。我们的方法在 FaceScape 数据集上以很大优势超越 SOTA 基于学习的 MVS 的精度。代码和数据发布于 https://github.com/zhuhao-nju/mvfr。
引用
@article{arxiv.2201.01016,
title = {Detailed Facial Geometry Recovery from Multi-View Images by Learning an Implicit Function},
author = {Yunze Xiao and Hao Zhu and Haotian Yang and Zhengyu Diao and Xiangju Lu and Xun Cao},
journal= {arXiv preprint arXiv:2201.01016},
year = {2022}
}
备注
AAAI 2022 Oral, updated to camera ready version