中文

三维人脸重建误差分解:面向公平与快速方法评估的模块化基准

计算机视觉与模式识别 2025-05-26 v1

摘要

计算三维人脸重建的标准基准指标——即几何误差——需要若干步骤,如网格裁剪、刚体对齐或点对应。当前基准工具是单体的(它们实现了这些步骤的特定组合),尽管对于最佳误差测量方式尚无共识。我们提出了一套模块化三维人脸重建基准(M3DFB)工具包,其中误差计算的基本组件被分离且可互换,从而可以量化每个组件的影响。此外,我们提出了一种新组件,即校正(correction),并给出了一种计算高效的方法,用于惩罚网格拓扑不一致性。使用该工具包,我们在两个真实数据集和两个合成数据集上测试了16种误差估计器与10种重建方法。关键的是,广泛使用的基于ICP的估计器提供了最差的基准性能,因为它显著改变了前5种重建方法的真实排序。值得注意的是,ICP与真实误差之间的相关性可低至0.41。此外,非刚体对齐带来了显著提升(相关性大于0.90),凸显了在数据集上标注三维关键点的重要性。最后,所提出的校正方案结合非刚体形变,在精度上与最好的非刚体ICP估计器相当,但运行速度快一个数量级。我们的开源代码库旨在让研究者轻松比较各组件的不同选择,从而加速三维人脸重建基准评估的进展,并进一步支持依赖精确误差估计进行有效训练的重建方法的学习改进。

关键词

引用

@article{arxiv.2505.18025,
  title  = {3D Face Reconstruction Error Decomposed: A Modular Benchmark for Fair and Fast Method Evaluation},
  author = {Evangelos Sariyanidi and Claudio Ferrari and Federico Nocentini and Stefano Berretti and Andrea Cavallaro and Birkan Tunc},
  journal= {arXiv preprint arXiv:2505.18025},
  year   = {2025}
}

备注

To be published in IEEE International Conference on Automatic Face and Gesture Recognition, 2025