真实场景下利用纯闪光线索的鲁棒反射去除
计算机视觉与模式识别
2023-11-15 v2
摘要
我们提出了一种简单而有效的无反射线索，用于从闪光与 ambient（无闪光）图像对中鲁棒地去除反射。该无反射线索利用通过在原始数据空间中对 ambient 图像与对应闪光图像作差得到的纯闪光图像。纯闪光图像等价于在仅开启闪光的暗环境中拍摄的图像。该纯闪光图像在视觉上无反射，因此可提供鲁棒线索以推断 ambient 图像中的反射。由于纯闪光图像通常含有伪影，我们进一步提出了一种专用模型，其不仅利用无反射线索，还避免引入伪影，从而有助于准确估计反射与透射。我们在具有各类反射的真实世界图像上的实验证明了我们的模型配合无反射纯闪光线索的有效性：在 PSNR 上我们的模型以超过 5.23dB 优于最先进的反射去除方法。我们将方法扩展至手持摄影以应对闪光与无闪光图像对之间的错位。借助错位训练数据与对齐模块，我们的对齐模型在错位数据集上以超过 3.19dB 的 PSNR 优于先前版本。我们还研究了使用线性 RGB 图像作为训练数据。我们的源代码与数据集公开于 https://github.com/ChenyangLEI/flash-reflection-removal。
引用
@article{arxiv.2211.02914,
title = {Robust Reflection Removal with Flash-only Cues in the Wild},
author = {Chenyang Lei and Xudong Jiang and Qifeng Chen},
journal= {arXiv preprint arXiv:2211.02914},
year = {2023}
}
备注
Extension of CVPR 2021 paper [arXiv:2103.04273], submitted to TPAMI. Our source code and dataset are publicly available at http://github.com/ChenyangLEI/flash-reflection-removal