PanFlowNet：一种基于流的泛锐化深度网络
计算机视觉与模式识别
2023-05-17 v2 图像与视频处理
摘要
泛锐化旨在通过将低分辨率多光谱（LRMS）图像的光谱信息与高分辨率全色（PAN）图像的纹理细节相融合，生成高分辨率多光谱（HRMS）图像。它本质上继承了超分辨率（SR）任务的病态特性，即多样的 HRMS 图像可退化为同一 LRMS 图像。然而，现有基于深度学习的方法使用确定性映射从 LRMS 图像与 PAN 图像中仅恢复一个 HRMS 图像，因而忽略了 HRMS 图像的多样性。本文为缓解此病态问题，提出一种基于流的泛锐化网络（PanFlowNet），直接学习给定 LRMS 图像与 PAN 图像条件下 HRMS 图像的条件分布，而非学习确定性映射。具体而言，我们首先通过可逆网络将该未知条件分布转化为给定的高斯分布，从而可显式定义该条件分布。接着，我们设计可逆的条件仿射耦合块（CACB），并通过堆叠一系列 CACB 构建 PanFlowNet 架构。最后，PanFlowNet 通过最大化训练集下条件分布的对数似然进行训练，之后可用于预测多样的 HRMS 图像。实验结果验证了所提 PanFlowNet 在给定 LRMS 与 PAN 图像时可生成多种 HRMS 图像。此外，在不同卫星数据集上的实验结果也从视觉与定量上证明了我们的 PanFlowNet 优于其他 SOTA 方法。
引用
@article{arxiv.2305.07774,
title = {PanFlowNet: A Flow-Based Deep Network for Pan-sharpening},
author = {Gang Yang and Xiangyong Cao and Wenzhe Xiao and Man Zhou and Aiping Liu and Xun chen and Deyu Meng},
journal= {arXiv preprint arXiv:2305.07774},
year = {2023}
}