人像本征分解与重光照的联合学习
计算机视觉与模式识别
2021-06-30 v1 机器学习
摘要
逆渲染是将图像分解为其本征分量（即反照率、法线和光照）的问题。为从单幅图像解决这一病态问题，形状从明暗 (shape from shading) 领域的最先进方法大多依赖于在合成或真实数据集上对所有分量进行有监督训练。在此，我们提出一种新的自监督训练范式：1) 减少对分解任务全监督的需求；2) 将重光照任务纳入考虑。我们引入了新的自监督损失项，利用多光照图像（同一场景在不同光照下的图像）之间的一致性。我们的方法适用于多光照数据集。我们在两种设定下应用我们的训练方法：1) 在合成与真实数据混合上训练；2) 在有限监督的真实数据集上训练。我们展示了我们的训练范式在本征分解和重光照上的有效性，并证明了在有限监督设定下若无自监督损失项，模型在两项任务上均表现不佳。我们在 SfSNet、CelebA 和 Photoface 数据集上提供了综合实验结果，并验证了我们的方法在真实场景图像 (images in the wild) 上的性能。
引用
@article{arxiv.2106.15305,
title = {Joint Learning of Portrait Intrinsic Decomposition and Relighting},
author = {Mona Zehni and Shaona Ghosh and Krishna Sridhar and Sethu Raman},
journal= {arXiv preprint arXiv:2106.15305},
year = {2021}
}