用于图像曝光校正的中注入 Transformer (CNN Injected Transformer)
计算机视觉与模式识别
2023-09-11 v1
摘要
以不正确曝光设置捕获的图像无法提供令人满意的视觉体验。只有当曝光适当设置时,图像的颜色和细节才能被恰当保留。先前基于卷积的曝光校正方法常因卷积核受限的感受野而在图像中产生曝光偏差。该问题源于卷积无法准确捕捉图像中的长程依赖。为克服这一挑战,我们可应用 Transformer 来解决曝光校正问题,利用其建模长程依赖的能力来捕获全局表示。然而,仅依赖基于窗口的 Transformer 会因在小块上施加自注意力而导致视觉上扰人的块状伪影。本文中,我们提出一种 CNN 注入式 Transformer (CIT) 以同时利用 CNN 和 Transformer 各自的优点。具体而言,我们通过采用基于窗口的 Transformer 来构建 CIT,以利用整幅图像中不同区域间的长程交互。在每个 CIT 块内,我们引入通道注意力块 (CAB) 和半实例归一化块 (HINB) 来辅助基于窗口的自注意力获取全局统计并细化局部特征。除用于曝光校正的混合架构设计外,我们应用一组精心设计的损失函数以改善空间相干性并纠正潜在颜色偏差。大量实验表明,我们的图像曝光校正方法在定量与定性指标上均优于最先进的方法。
引用
@article{arxiv.2309.04366,
title = {CNN Injected Transformer for Image Exposure Correction},
author = {Shuning Xu and Xiangyu Chen and Binbin Song and Jiantao Zhou},
journal= {arXiv preprint arXiv:2309.04366},
year = {2023}
}