用于全色锐化的局部-全局 Transformer 增强展开网络
计算机视觉与模式识别
2023-05-01 v1 图像与视频处理
摘要
全色锐化旨在以相应的全色(PAN)图像为指导,提高低分辨率多光谱(LrMS)图像的空间分辨率。尽管基于深度学习(DL)的全色锐化方法已取得令人满意的性能,但大多数方法存在两方面不足。其一,普遍采用的黑箱原理限制了模型的可解释性。其二,现有基于 DL 的方法无法同时高效捕获局部与全局依赖关系,不可避免地限制了整体性能。为解决上述这些问题,我们首先将高分辨率多光谱(HrMS)图像的退化过程表述为一个统一的变分优化问题,并通过所设计的迭代近端梯度下降(PGD)算法交替求解其数据与先验子问题。此外,我们定制了一个局部-全局 Transformer (LGT) 以同时建模局部与全局依赖关系,并进一步构建了一个基于 LGT 的先验模块用于图像去噪。除先验模块外,我们还设计了一个轻量级数据模块。最后,通过在每个迭代阶段串行集成数据与先验模块,我们将该迭代算法展开为一个分阶段展开网络——局部-全局 Transformer 增强展开网络(LGTEUN),用于可解释的多光谱全色锐化。在三个卫星数据集上的综合实验结果表明,与最先进(SOTA)方法相比,LGTEUN 的有效性与高效性。源代码见 https://github.com/lms-07/LGTEUN。
引用
@article{arxiv.2304.14612,
title = {Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening},
author = {Mingsong Li and Yikun Liu and Tao Xiao and Yuwen Huang and Gongping Yang},
journal= {arXiv preprint arXiv:2304.14612},
year = {2023}
}
备注
Accepted by IJCAI2023