通过同步特征与图像引导融合的引导图像恢复
计算机视觉与模式识别
2023-12-15 v1
摘要
引导图像恢复（GIR），例如引导深度图超分辨率和全色锐化，旨在利用同一场景中另一幅图像的引导信息来增强目标图像。目前，受联合图像滤波启发的基于深度学习的方法代表了 GIR 任务的 SOTA。这些方法要么通过精心设计面向滤波的 DNN 模块以端到端方式处理 GIR，侧重于输入的特征级融合；要么通过用 DNN 参数化滤波系数以显式利用传统联合滤波机制，作用于图像级融合。前者擅长恢复上下文信息但容易丢失细粒度细节，而后者能更好地保留文本信息但可能导致内容失真。在本工作中，为了继承两种方法的优势同时减轻其局限性，我们提出了一种同步特征与图像引导融合（SFIGF）网络，该网络遵循引导滤波（GF）机制，同时考虑特征级与图像级引导融合。在特征域中，我们将交叉注意力（CA）与 GF 相结合，并提出一个受 GF 启发的 CA 模块以实现更好的特征级融合；在图像域中，我们充分探索 GF 机制并设计类 GF 结构以实现更好的图像级融合。由于引导融合在特征域和图像域中均得到实现，所提出的 SFIGF 有望忠实地重建源图像中的上下文和文本信息，从而带来更好的 GIR 结果。我们将 SFIGF 应用于 4 项典型的 GIR 任务，在这些任务上的实验结果证明了其有效性和通用性。
引用
@article{arxiv.2312.08853,
title = {Guided Image Restoration via Simultaneous Feature and Image Guided Fusion},
author = {Xinyi Liu and Qian Zhao and Jie Liang and Hui Zeng and Deyu Meng and Lei Zhang},
journal= {arXiv preprint arXiv:2312.08853},
year = {2023}
}