弱监督单视图图像重打光
计算机视觉与模式识别
2023-03-27 v1
摘要
我们提出了一种基于学习的对朗伯和低频高光物体单张图像进行重打光的方法。我们的方法能够将照片中的物体插入新场景，并在新环境光照下对其重新打光，这对于AR应用至关重要。为对物体重打光，我们同时求解逆渲染与再渲染。为解决不适定的逆渲染，我们提出了一种基于低秩约束的弱监督方法。为便于弱监督训练，我们贡献了Relit，一个大规模(75万张图像)的、在变化光照下含对齐物体的视频数据集。对于再渲染，我们提出了一种可微高光渲染层，以在球谐函数各种光照下渲染低频非朗伯材质。整个流程端到端且高效，支持移动端AR物体插入应用的实现。大量评估表明我们的方法达到了最先进的性能。项目主页：https://renjiaoyi.github.io/relighting/。
引用
@article{arxiv.2303.13852,
title = {Weakly-supervised Single-view Image Relighting},
author = {Renjiao Yi and Chenyang Zhu and Kai Xu},
journal= {arXiv preprint arXiv:2303.13852},
year = {2023}
}
备注
21 pages, with supplementary material