用于全色锐化的无监督循环一致生成对抗网络
计算机视觉与模式识别
2022-06-15 v3 图像与视频处理
摘要
近年来，基于深度学习的全色锐化受到了显著的研究关注。现有大多数方法属于监督学习框架，其中他们对多光谱（MS）和全色（PAN）图像进行下采样，并将原始 MS 图像视为真值以构成训练样本。尽管可实现令人印象深刻的性能，但由于尺度差距，它们难以推广到原始全尺度图像，这使其缺乏实用性。在本文中，我们提出一种无监督生成对抗框架，从全尺度图像中学习而无需真值以缓解该问题。我们用双流生成器从 PAN 和 MS 图像中提取模态特定特征，在特征域执行融合，然后重建全色锐化图像。此外，我们引入一种基于循环一致和对抗方案的新型混合损失以提升性能。在 GaoFen-2 和 WorldView-3 卫星上与最先进方法的对比实验表明，所提方法能大幅提升全尺度图像上的全色锐化性能，清晰展现了其实用价值。代码见 https://github.com/zhysora/UCGAN。
引用
@article{arxiv.2109.09395,
title = {Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening},
author = {Huanyu Zhou and Qingjie Liu and Dawei Weng and Yunhong Wang},
journal= {arXiv preprint arXiv:2109.09395},
year = {2022}
}
备注
14 pages, 8 figures, and 7 tables. Accepted by TGRS