用于深度引导图像重打光的模态分支网络
计算机视觉与模式识别
2021-05-06 v2
摘要
图像重打光旨在重新校准图像中的光照设置。在本文中，我们提出一种基于深度学习的方法，称为多模态分支网络 (MBNet)，用于深度引导图像重打光。即给定一幅图像及对应的深度图，我们的网络生成一幅具有给定光源角度和色温的新图像。该模型在编码器中通过分支网络提取图像与深度特征。为有效利用这两种特征，我们在解码器中采用动态空洞金字塔模块。此外，为增加训练数据的多样性，我们提出一种新颖的数据处理流程以增加训练数据数量。在 VIDIT 数据集上的实验表明，所提方案在 NTIRE 2021 深度引导一对一重打光挑战赛中就 SSIM 和 PMS 指标取得第 \textbf{1} 名。
引用
@article{arxiv.2105.00690,
title = {Multi-modal Bifurcated Network for Depth Guided Image Relighting},
author = {Hao-Hsiang Yang and Wei-Ting Chen and Hao-Lun Luo and Sy-Yen Kuo},
journal= {arXiv preprint arXiv:2105.00690},
year = {2021}
}
备注
Accepted by CVPRW 2021. This solution is the winner in the NTIRE 2021 Depth Guide One-to-one Relighting Challenge