学习型图像推理先验渗透深度展开网络用于全色与多光谱图像融合
计算机视觉与模式识别
2023-08-31 v1 图像与视频处理
摘要
深度神经网络在全色锐化（pan-sharpening）中的成功通常以黑箱形式呈现，缺乏透明性与可解释性。为缓解该问题，我们提出了一种新颖的模型驱动深度展开框架，并针对全色锐化任务量身定制了图像推理先验。不同于现有展开方案将近端算子网络作为不确定且模糊的先验，我们的框架受掩码自编码器（MAE）的内容推理能力启发并辅以深入设计。具体而言，采用空间掩码策略预训练的 MAE 作为内在推理先验嵌入展开架构中；同时，采用空间-光谱掩码策略预训练的 MAE 作为损失函数中的正则化项以约束空间-光谱一致性。此类设计将图像推理先验渗透至深度展开网络，同时提升其可解释性与表征能力。我们框架的独特之处在于整体学习过程与全色锐化任务背后的固有物理机制显式结合。在多个卫星数据集上的大量实验证明了我们的方法优于现有最先进方法。代码将发布于 \url{https://manman1995.github.io/}。
引用
@article{arxiv.2308.16083,
title = {Learned Image Reasoning Prior Penetrates Deep Unfolding Network for Panchromatic and Multi-Spectral Image Fusion},
author = {Man Zhou and Jie Huang and Naishan Zheng and Chongyi Li},
journal= {arXiv preprint arXiv:2308.16083},
year = {2023}
}
备注
10 pages; Accepted by ICCV 2023