从野外照片集合学习与聚合及个性化三维人脸
计算机视觉与模式识别
2021-06-16 v1 图形学
摘要
非参数人脸建模旨在仅从图像重建三维人脸而不做形状假设。尽管可预测合理的面部细节，此类模型往往过度依赖局部颜色外观并受模糊噪声干扰。为解决该问题，本文提出一种新颖的学习聚合与个性化（LAP）框架，用于无监督鲁棒三维人脸建模。所提方法不使用受控环境，而是从非约束照片集中隐式解耦身份一致人脸与场景特定人脸。具体而言，为学习身份一致人脸，LAP 基于一种带松弛一致性损失的新型课程学习方法，自适应聚合某一身份的内在人脸因子。为使该人脸适配个性化场景，我们提出一种新颖属性细化网络，以目标属性与细节修改身份一致人脸。基于所提方法，我们使无监督三维人脸建模受益于有意义的图像面部结构及可能更高的分辨率。在基准上的大量实验表明，相较于有或无先验与监督的先进（SOTA）方法，LAP 恢复了更优或具竞争力的脸形与纹理。
引用
@article{arxiv.2106.07852,
title = {Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection},
author = {Zhenyu Zhang and Yanhao Ge and Renwang Chen and Ying Tai and Yan Yan and Jian Yang and Chengjie Wang and Jilin Li and Feiyue Huang},
journal= {arXiv preprint arXiv:2106.07852},
year = {2021}
}
备注
CVPR 2021 Oral, 11 pages, 9 figures