面向单目三维人脸重建的自监督鲁棒化引导方法
计算机视觉与模式识别
2022-10-24 v3 人工智能
摘要
尽管在遮挡和噪声人脸图像的三维人脸重建方面取得了近期进展，其性能仍不尽如人意。此外，大多数现有方法依赖额外的辅助条件，对训练过程施加了诸多约束。因此，我们提出了一种自监督鲁棒化引导（ROGUE）框架，以获得对人脸图像中遮挡和噪声的鲁棒性。所提出的网络包含：1）引导流水线，用于获取干净人脸的三维人脸系数；2）鲁棒化流水线，用于使遮挡或噪声图像估计的系数与干净图像对应系数保持一致。所提出的图像级和特征级损失函数在无需额外依赖的情况下辅助 ROGUE 的学习过程。为便于模型评估，我们提出了两个具有挑战性的遮挡人脸数据集 ReaChOcc 和 SynChOcc，分别包含用于鲁棒性评估的真实世界和合成遮挡人脸图像。同时，还生成了 CelebA 测试集的噪声变体用于评估。我们的方法大幅优于当前最先进（SOTA）方法（例如，在感知误差方面，真实世界遮挡降低 23.8%，合成遮挡降低 26.4%，噪声图像降低 22.7%），证明了所提方法的有效性。遮挡数据集及相应评估代码已公开于 https://github.com/ArcTrinity9/Datasets-ReaChOcc-and-SynChOcc。
引用
@article{arxiv.2112.14382,
title = {Self-Supervised Robustifying Guidance for Monocular 3D Face Reconstruction},
author = {Hitika Tiwari and Min-Hung Chen and Yi-Min Tsai and Hsien-Kai Kuo and Hung-Jen Chen and Kevin Jou and K. S. Venkatesh and Yong-Sheng Chen},
journal= {arXiv preprint arXiv:2112.14382},
year = {2022}
}
备注
Accepted by The 33rd British Machine Vision Conference (BMVC) 2022. Evaluation code and datasets: https://github.com/ArcTrinity9/Datasets-ReaChOcc-and-SynChOcc