S3Net：一种用于深度引导图像重打光的单流结构
计算机视觉与模式识别
2021-05-06 v2
摘要
深度引导任意到任意图像重打光旨在根据原始图像及相应深度图生成重打光图像，以匹配给定引导图像及其深度图的照明设置。据我们所知，该任务是一个此前文献中尚未解决的新挑战。为解决此问题，我们提出了一种基于深度学习的神经单流结构网络 S3Net，用于深度引导图像重打光。该网络是一个编码器-解码器模型。我们将所有图像及相应深度图拼接作为输入，并输入到模型中。解码器部分包含注意力模块和增强模块，以聚焦于引导图像中与重打光相关的区域。在具有挑战性的基准上的实验表明，所提模型在 NTIRE 2021 深度引导任意到任意重打光挑战赛中取得了第三高的 SSIM。
引用
@article{arxiv.2105.00681,
title = {S3Net: A Single Stream Structure for Depth Guided Image Relighting},
author = {Hao-Hsiang Yang and Wei-Ting Chen and and Sy-Yen Kuo},
journal= {arXiv preprint arXiv:2105.00681},
year = {2021}
}
备注
Accepted by CVPRW 2021. This solution obtains the 3 rd position in the NTIRE 2021 Depth Guided Any-to-any Relighting Challenge