SfSNet：在野外部署中学习目标人脸的形状、反射率与光照
计算机视觉与模式识别
2018-04-20 v2
摘要
我们提出 SfSNet，一个端到端学习框架，用于将无约束的人脸图像精确分解为形状、反射率和光照。SfSNet 被设计为反映物理朗伯渲染模型。SfSNet 从标记的合成图像与未标记的真实世界图像的混合中学习。这使得网络能够通过光度重建损失从合成图像捕获低频变化并从真实图像捕获高频细节。SfSNet 由一种带有残差块的新型分解架构组成，可学习反照率与法线的完全分离。该结果与原图一起用于预测光照。对于逆渲染以及独立的法线与光照估计，SfSNet 在定量与定性结果上均显著优于最先进的方法。
引用
@article{arxiv.1712.01261,
title = {SfSNet: Learning Shape, Reflectance and Illuminance of Faces in the Wild},
author = {Soumyadip Sengupta and Angjoo Kanazawa and Carlos D. Castillo and David Jacobs},
journal= {arXiv preprint arXiv:1712.01261},
year = {2018}
}
备注
Accepted to CVPR 2018 (Spotlight)