用于重打光的受物理启发的密集融合网络
计算机视觉与模式识别
2021-05-06 v1 人工智能
摘要
受增强现实应用启发,图像重打光已成为一个具有重要研究兴趣的问题。基于物理的传统方法以及黑箱深度学习模型均已得到发展。现有深度网络利用训练达到了新的最优水平;然而,当训练有限或不能代表问题现象学(例如密集阴影的添加或去除)时,它们可能表现不佳。我们提出了一种将物理洞察融入神经网络的模型。更确切地说,我们的方法通过两种不同策略生成具有新光照设置的重打光图像,随后使用权重图(w)将它们融合。在第一种策略中,我们的模型预测重打光图像的场景材质反射参数(反照率)与光照/几何参数(明暗)(我们将此策略称为本征图像分解(IID))。第二种策略完全基于黑箱方法,模型在训练阶段根据真值图像与损失项优化其权重并直接生成重打光输出(我们将此策略称为直接)。虽然我们提出的方法适用于一对一与任意到任意重打光问题,但对于每种情况我们引入了特定问题的组件以增强模型性能:1) 对于一对一重打光,我们将场景中表面的法向量纳入以相应调整图像中的光泽与阴影。2) 对于任意到任意重打光,我们向架构中提议一个额外的多尺度块以增强特征提取。在 VIDIT 2020 与 VIDIT 2021 数据集(用于 NTIRE 2021 重打光挑战赛)上的实验结果表明,我们的方案在知名保真度指标与感知损失方面优于许多最优方法。
引用
@article{arxiv.2105.02209,
title = {Physically Inspired Dense Fusion Networks for Relighting},
author = {Amirsaeed Yazdani and Tiantong Guo and Vishal Monga},
journal= {arXiv preprint arXiv:2105.02209},
year = {2021}
}
备注
Rank second in NTIRE 2021 One-to-one depth guided image relighting challenge, accepted by CVPRW 2021