基于深度图像的光照协调化
计算机视觉与模式识别
2022-04-06 v2
摘要
在计算机视觉与增强现实领域，通过光照协调化将前景物体融入背景场景是一项重要且具有挑战性的任务。现有方法主要关注前景与背景的外观一致性或前景物体阴影生成，很少考虑全局外观与光照协调化。本文将无缝光照协调化表述为一个光照交换与聚合问题。具体而言，我们首先采用基于物理的渲染方法构建了一个大规模、高质量的数据集（命名为IH）用于我们的任务，该数据集包含各类前景物体与具有不同光照条件的背景场景。随后，我们提出了一种名为DIH-GAN的基于深度图像的光照协调化GAN框架，其充分利用多尺度注意力机制与光照交换策略，直接推断插入的前景物体与相应背景场景之间的映射关系。同时，我们还采用对抗学习策略进一步优化光照协调化结果。我们的方法不仅能使前景物体获得协调的外观与光照，还能生成具有说服力的前景物体投射阴影。在IH数据集与真实图像上的综合实验表明，我们所提出的DIH-GAN为基于图像的对象光照协调化编辑提供了一种实用且有效的解决方案，并验证了我们的方法相对于最先进方法的优越性。我们的IH数据集可在 https://github.com/zhongyunbao/Dataset 获取。
引用
@article{arxiv.2108.00150,
title = {Deep Image-based Illumination Harmonization},
author = {Zhongyun Bao and Chengjiang Long and Gang Fu and Daquan Liu and Yuanzhen Li and Jiaming Wu and Chunxia Xiao},
journal= {arXiv preprint arXiv:2108.00150},
year = {2022}
}
备注
The paper has been accepted to Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, Louisiana, Jue 19-24, 2022