基于频率选择性混合图 Transformer 的图像引导 DEM 超分辨率 Sinkhorn 正则化对抗网络
图像与视频处理
2024-09-24 v1 计算机视觉与模式识别
摘要
数字高程模型（DEM）是遥感（RS）领域中分析地表高程相关应用的重要方面。在此，我们通过引入一种由密集连接多残差块（DMRB）和多头频率选择性图注意力（M-FSGA）组成的新型混合 Transformer 模型，解决了利用高分辨率（HR）多光谱（MX）卫星图像作为引导来生成高分辨率 DEM 的问题。为了及时调控这一过程，我们利用判别器空间图作为 MX 引导的条件注意力。此外，我们提出了一种与经典 GAN 优化 Sinkhorn 距离相关的新型对抗目标。在此方面，我们从梯度和数值收敛问题两方面提供了更好性能的理论与实证依据。基于我们在 4 个不同 DEM 数据集上的实验，我们展示了与现有基线方法的定性和定量比较，并表明我们提出的模型性能优于其他方法，具有更清晰的细节和更小的误差。
引用
@article{arxiv.2409.14198,
title = {A Sinkhorn Regularized Adversarial Network for Image Guided DEM Super-resolution using Frequency Selective Hybrid Graph Transformer},
author = {Subhajit Paul and Ashutosh Gupta},
journal= {arXiv preprint arXiv:2409.14198},
year = {2024}
}
备注
25 pages, 19 figures. arXiv admin note: substantial text overlap with arXiv:2311.16490