基于显式相似性约束的频率感知融合网络全色锐化
图像与视频处理
2023-06-05 v3
摘要
将高空间分辨率（HR）全色（PAN）图像与低空间分辨率（LR）多光谱（MS）图像融合以获得 HRMS 图像的过程称为全色锐化。随着卷积神经网络的发展，全色锐化方法的性能得以提升，然而由于其细节学习不足以及 MS 与 PAN 间的频率失配，其融合结果仍存在模糊效应与光谱失真。因此，在降低光谱失真前提下提升空间细节仍具挑战。本文中，我们提出一种频率感知融合网络（FAFNet）及一种新颖的高频特征相似性损失以解决上述问题。FAFNet 主要由两类模块组成：频率感知模块借助离散小波变换（DWT）层在频域提取特征，频率融合模块在逆 DWT（IDWT）层辅助下将特征从频域重建并变换至空域。最终通过卷积块获得融合结果。为学习对应关系，我们还提出高频特征相似性损失以约束源自 PAN 与 MS 分支的 HF 特征，使 PAN 的 HF 特征可合理用于补充 MS 的 HF 特征。在三个数据集上以降分辨率与全分辨率进行的实验结果表明，所提方法优于若干当前最优全色锐化模型。
引用
@article{arxiv.2207.08602,
title = {Pansharpening via Frequency-Aware Fusion Network with Explicit Similarity Constraints},
author = {Yinghui Xing and Yan Zhang and Houjun He and Xiuwei Zhang and Yanning Zhang},
journal= {arXiv preprint arXiv:2207.08602},
year = {2023}
}
备注
14 pages