学习方向光下物理引导的人脸重打光
计算机视觉与模式识别
2020-04-21 v2 图形学
机器学习
摘要
重打光是将物体从捕获图像真实感地迁移到另一环境中的关键步骤。例如，增强现实中的真实临场感要求人脸的显示与重打光与观察者的场景光照一致。我们研究端到端深度学习架构，对人脸图像同时进行去光与重打光。我们的模型依据基于漫反射物理的图像形成模型将输入图像分解为本征分量。我们通过预测对漫反射渲染的残差校正来启用包括投射阴影与镜面高光在内的非漫反射效应。为训练和评估我们的模型，我们采集了包含 21 名受试者、具多种表情与姿态的人像数据库。每个样本在带 32 个独立光源的受控光台装置中捕获。我们的方法生成精确且可信的重打光结果，并泛化至复杂光照条件与具挑战性的姿态，包括受试者未直视相机时。
引用
@article{arxiv.1906.03355,
title = {Learning Physics-guided Face Relighting under Directional Light},
author = {Thomas Nestmeyer and Jean-François Lalonde and Iain Matthews and Andreas M. Lehrmann},
journal= {arXiv preprint arXiv:1906.03355},
year = {2020}
}
备注
CVPR 2020 (Oral)