MVF-Net:多视角三维可变形人脸模型回归
计算机视觉与模式识别
2019-04-10 v1
摘要
我们解决了从多视角人脸图像集恢复人脸三维几何的问题。尽管近期研究在基于三维可变形模型(3DMM)的人脸重建方面取得了令人印象深刻的进展,但其设置大多局限于单视角。单视角设置存在固有缺陷:缺乏可靠的3D约束会导致无法消除的歧义。本文中,我们探索了一种不同设置下的基于3DMM的形状恢复,其中给定一组多视角人脸图像作为输入。提出了一种通过端到端可训练卷积神经网络(CNN)从多视角输入回归3DMM参数的新方法。利用一种新颖的自监督视角对齐损失在不同视角间建立稠密对应,将多视角几何约束融入网络。该视角对齐损失的主要组成部分是一个可微分的稠密光流估计器,其可将一个输入视角与来自另一输入视角的合成渲染(通过待推断的3D形状投影到目标视角)之间的对齐误差反向传播。通过最小化视角对齐损失,可恢复更好的3D形状,使得从一个视角到另一视角的合成投影能更好地与观测图像对齐。大量实验证明了所提方法相对于其他3DMM方法的优越性。
引用
@article{arxiv.1904.04473,
title = {MVF-Net: Multi-View 3D Face Morphable Model Regression},
author = {Fanzi Wu and Linchao Bao and Yajing Chen and Yonggen Ling and Yibing Song and Songnan Li and King Ngi Ngan and Wei Liu},
journal= {arXiv preprint arXiv:1904.04473},
year = {2019}
}
备注
2019 Conference on Computer Vision and Pattern Recognition