基于3D引导的深度人像光照增强
计算机视觉与模式识别
2021-08-05 v1 图形学
摘要
尽管深度学习图像光照增强方法近期取得突破，但因其模型忽略三维面部信息，应用于人像时表现欠佳。为此，我们提出一种基于三维面部引导的人像光照增强深度学习框架。我们的框架包含两阶段。第一阶段，网络在三维可变形模型与可微渲染器辅助下，从输入的差光照图像中预测校正后的光照参数。给定预测的光照参数，可微渲染器渲染出具有校正阴影与纹理的人脸图像，作为第二阶段学习图像光照增强的三维引导。为更好利用输入与引导间的长程关联，第二阶段中我们设计了一个带有新颖transformer架构的图像到图像翻译网络，自动生成光照增强结果。在FFHQ数据集与真实场景图像上的实验结果表明，所提方法在量化指标与视觉质量上均优于当前最优方法。我们将在 https://cassiepython.github.io/egsr/index.html 发布数据集及更多结果。
引用
@article{arxiv.2108.02121,
title = {Deep Portrait Lighting Enhancement with 3D Guidance},
author = {Fangzhou Han and Can Wang and Hao Du and Jing Liao},
journal= {arXiv preprint arXiv:2108.02121},
year = {2021}
}
备注
{\dag} for equal conribution. Accepted to CGF. Project page: https://cassiepython.github.io/egsr/index.html