FitMe：用于逼真三维可形变模型头像的深度方法
计算机视觉与模式识别
2023-05-17 v1 图形学
机器学习
摘要
本文介绍 FitMe，一种人脸反射率模型与可微分渲染优化流程，可用于从单张或多张图像中获取高保真可渲染人体头像。该模型由一个多模态基于风格的生成器（以漫反射和镜面反射率刻画人脸外观）和一个基于 PCA 的形状模型组成。我们采用快速可微分渲染过程，既可应用于优化流程，又能实现逼真的人脸着色。我们的优化过程通过利用基于风格的隐空间表示及形状模型的表达能力，高精度捕捉人脸反射率与形状细节。FitMe 在单张“自然场景”人脸图像上实现了最先进的反射率获取与身份保持，而在给定同一身份的多张无约束人脸图像时，可生成令人印象深刻的类扫描结果。与近期隐式头像重建方法相比，FitMe 仅需一分钟即可生成可重新打光的网格与基于纹理的头像，可供终端用户应用使用。
引用
@article{arxiv.2305.09641,
title = {FitMe: Deep Photorealistic 3D Morphable Model Avatars},
author = {Alexandros Lattas and Stylianos Moschoglou and Stylianos Ploumpis and Baris Gecer and Jiankang Deng and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2305.09641},
year = {2023}
}
备注
Accepted at CVPR 2023, project page at https://lattas.github.io/fitme , 17 pages including supplementary material