通过网内优化的可绑定3D人脸重建
计算机视觉与模式识别
2021-04-09 v1 图形学
摘要
本文提出一种从单目图像进行可绑定3D人脸重建的方法，其联合估计个性化人脸绑定(rig)及每图参数，包括表情、姿态与光照。为实现该目标，我们设计了一个端到端可训练网络，其中嵌入可微分的网内优化。网络首先将人脸rig参数化为带神经解码器的紧凑潜码，随后通过可学习优化估计该潜码及每图参数。通过估计个性化人脸rig，我们的方法超越静态重建，并支持视频重定向等下游应用。网内优化显式施加以第一性原理导出的约束，因而引入比基于回归的方法更多的先验。最后，利用深度学习的data-driven先验约束不适定的单目设置并缓解优化难度。实验表明，我们的方法取得了SOTA重建精度、合理的鲁棒性与泛化能力，并支持标准人脸rig应用。
引用
@article{arxiv.2104.03493,
title = {Riggable 3D Face Reconstruction via In-Network Optimization},
author = {Ziqian Bai and Zhaopeng Cui and Xiaoming Liu and Ping Tan},
journal= {arXiv preprint arXiv:2104.03493},
year = {2021}
}
备注
CVPR2021. Code: https://github.com/zqbai-jeremy/INORig Camera Ready Paper: https://zqbai-jeremy.github.io/files/INORig.pdf Camera Ready Supp: https://zqbai-jeremy.github.io/files/INORig_supp.pdf