REALY：重新思考三维人脸重建的评估
计算机视觉与模式识别
2022-07-20 v2 图形学
摘要
三维人脸重建结果的评估通常依赖于估计三维模型与真实扫描之间的刚性形状对齐。我们观察到，以不同参考点对齐两个形状会大幅影响评估结果。这给精确诊断和改进三维人脸重建方法带来了困难。在本文中，我们提出了一种带有新基准 REALY 的新评估方法，该基准由 100 个全局对齐的人脸扫描组成，具有精确的面部关键点、高质量区域掩码和拓扑一致的网格。我们的方法执行区域级形状对齐，并在计算形状误差时带来更准确、双向的对应关系。细粒度、区域级的评估结果让我们对最先进三维人脸重建方法的性能有了详细理解。例如，我们在基于单图像的重建方法上的实验揭示，DECA 在鼻部区域表现最佳，而 GANFit 在脸颊区域表现更好。此外，使用与我们构建 REALY 相同的流程对齐并重构多个三维人脸数据集的拓扑，进一步推导出一个崭新且高质量的三维形变模型基 HIFI3D++。我们将在 https://realy3dface.com 发布 REALY、HIFI3D++ 以及我们的新评估流程。
引用
@article{arxiv.2203.09729,
title = {REALY: Rethinking the Evaluation of 3D Face Reconstruction},
author = {Zenghao Chai and Haoxian Zhang and Jing Ren and Di Kang and Zhengzhuo Xu and Xuefei Zhe and Chun Yuan and Linchao Bao},
journal= {arXiv preprint arXiv:2203.09729},
year = {2022}
}
备注
Accepted to ECCV 2022, camera-ready version; Project page: https://realy3dface.com; Code: https://github.com/czh-98/REALY