基于反射感知引导的两阶段单图像反射去除
计算机视觉与模式识别
2021-02-23 v2
摘要
去除透过玻璃表面拍摄的图像中不必要的反射是一个非常具有挑战性的问题，且有许多实际应用场景。为了改进反射去除，通常采用级联深度模型以渐进方式估计透射层。然而，现有大多数方法在利用前一阶段结果引导透射层估计方面仍然有限。本文提出一种新颖的带反射感知引导（RAGNet）的两阶段网络用于单图像反射去除（SIRR）。具体而言，由于反射层通常简单得多且相对容易估计，首先估计反射层。随后精心设计反射感知引导（RAG）模块，以更好地利用估计出的反射来预测透射层。通过融合来自估计反射和观测图像的特征图，RAG可用于（i）减轻观测中反射的影响，以及（ii）在部分卷积中生成掩码以减轻偏离线性组合假设的影响。进一步提出一种专用的掩码损失以协调编码器与解码器特征的贡献。在五个常用数据集上的实验证明了我们的RAGNet相较于最先进的SIRR方法在定量与定性上的优越性。源代码与预训练模型可在 https://github.com/liyucs/RAGNet 获取。
引用
@article{arxiv.2012.00945,
title = {Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance},
author = {Yu Li and Ming Liu and Yaling Yi and Qince Li and Dongwei Ren and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2012.00945},
year = {2021}
}