OFER：遮挡面部表情重建
计算机视觉与模式识别
2025-03-04 v2
摘要
从单张图像重建3D人脸模型本质上是一个不适定问题，在存在遮挡时变得更具挑战性。除了可用的观测更少之外，遮挡引入了额外的模糊性来源，其中多种重建结果可能同样有效。尽管该问题普遍存在，但很少有方法解决其多假设性质。在本文中，我们提出了OFER，一种用于单图像3D人脸重建的新方法，即使在严重遮挡下也能生成合理的、多样的且富有表现力的3D人脸。具体而言，我们训练了两个扩散模型，以输入图像为条件，生成人脸参数化模型的形状和表情系数。该方法捕捉了问题的多模态性质，生成解的分布作为输出。然而，为了在不同表情之间保持一致性，挑战在于选择最佳匹配的形状。为此，我们提出了一种新颖的排序机制，根据预测的形状精度分数对形状扩散网络的输出进行排序。我们使用标准基准评估了该方法，并引入了CO-545，一种旨在评估遮挡下富有表现力人脸精度的新协议和数据集。结果表明，与基于遮挡的方法相比性能有所提升，同时还能为给定图像生成多样的表情。
引用
@article{arxiv.2410.21629,
title = {OFER: Occluded Face Expression Reconstruction},
author = {Pratheba Selvaraju and Victoria Fernandez Abrevaya and Timo Bolkart and Rick Akkerman and Tianyu Ding and Faezeh Amjadi and Ilya Zharkov},
journal= {arXiv preprint arXiv:2410.21629},
year = {2025}
}