PGMAN：一种用于全色锐化的无监督生成式多对抗网络
图像与视频处理
2021-06-17 v2 计算机视觉与模式识别
摘要
全色锐化旨在融合卫星获取的低分辨率（LR）多光谱（MS）图像与高分辨率（HR）全色（PAN）图像，以生成 HR MS 图像。过去几年已开发了许多基于深度学习的方法。然而，由于不存在预期的 HR MS 图像作为学习参考，几乎所有现有方法都对 MS 与 PAN 图像进行下采样，并将原始 MS 图像视为目标，从而构成有监督训练设置。这些方法在下采样图像上可能表现良好，但在全分辨率图像上泛化能力差。为克服该问题，我们设计了一种无监督框架，能够直接从未经任何预处理的全分辨率图像中学习。该模型基于一种新颖的生成式多对抗网络构建。我们使用双流生成器分别从 PAN 与 MS 图像中提取模态特定特征，并设计双判别器以在融合时保留输入的光谱与空间信息。此外，引入了一种新颖的损失函数以辅助无监督设置下的训练。在 GaoFen-2 与 QuickBird 图像上与其他最先进方法的实验与比较表明，所提方法能在全分辨率图像上获得好得多的融合结果。
引用
@article{arxiv.2012.09054,
title = {PGMAN: An Unsupervised Generative Multi-adversarial Network for Pan-sharpening},
author = {Huanyu Zhou and Qingjie Liu and Yunhong Wang},
journal= {arXiv preprint arXiv:2012.09054},
year = {2021}
}
备注
Code is available <https://github.com/zhysora/PGMAN>