基于FLAME的多视角三维人脸重建
计算机视觉与模式识别
2023-09-26 v2
摘要
目前，人脸三维重建在各个领域具有广阔的应用前景，但相关研究仍处于发展阶段。本文希望通过将多视角训练框架与人脸参数化模型Flame相结合来实现更好的人脸三维重建质量，提出一种多视角训练与测试模型MFNet（Multi-view Flame Network，多视角Flame网络）。我们构建了自监督训练框架，并实现了多视角光流损失函数与人脸关键点损失等约束，最终得到完整的MFNet。我们提出了多视角光流损失与共线可见掩码的创新实现。我们在AFLW与facescape数据集上测试了模型，并拍摄本人人脸照片以重建三维人脸，同时尽可能模拟实际场景，取得了良好结果。我们的工作主要解决了人脸参数化模型与多视角人脸三维重建结合的问题，并探索了基于Flame的多视角训练与测试框架的实现，以期为三维人脸重建领域做出贡献。
引用
@article{arxiv.2308.07551,
title = {FLAME-based Multi-View 3D Face Reconstruction},
author = {Wenzhuo Zheng and Junhao Zhao and Xiaohong Liu and Yongyang Pan and Zhenghao Gan and Haozhe Han and Ning Liu},
journal= {arXiv preprint arXiv:2308.07551},
year = {2023}
}