基于弱监督离群值分割的鲁棒模型驱动人脸重建
计算机视觉与模式识别
2023-03-22 v3
摘要
在本工作中，我们旨在通过避免将模型拟合到离群值（即模型难以良好表达的区域，如遮挡物或妆容）来增强基于模型的人脸重建。定位离群值的核心挑战在于其高度多变且难以标注。为克服这一难题，我们提出了一种联合人脸自编码器与离群值分割方法(FOCUS)。具体而言，我们利用离群值无法被人脸模型良好拟合、从而在高质量模型拟合下可被准确定位这一事实。主要挑战在于模型拟合与离群值分割相互依赖，需联合推断。我们以EM型训练策略解决这一鸡生蛋蛋生鸡问题，其中人脸自编码器与离群值分割网络联合训练。这产生了协同效应：分割网络阻止人脸编码器拟合离群值，从而提升重建质量；而改进的3D人脸重建又使分割网络能更好地预测离群值。为解决离群值与难以拟合区域（如眉毛）之间的歧义，我们从合成数据构建了衡量模型拟合中系统偏差的统计先验。在NoW测试集上的实验表明，FOCUS在所有无3D标注训练的基线中取得了SOTA的3D人脸重建性能。此外，我们在CelebA-HQ和AR数据库上的结果显示，尽管无任何分割标注训练，该分割网络仍能准确局部化遮挡物。
引用
@article{arxiv.2106.09614,
title = {Robust Model-based Face Reconstruction through Weakly-Supervised Outlier Segmentation},
author = {Chunlu Li and Andreas Morel-Forster and Thomas Vetter and Bernhard Egger and Adam Kortylewski},
journal= {arXiv preprint arXiv:2106.09614},
year = {2023}
}
备注
20 pages, CVPR2023