SatDiffMoE: 基于混合估计方法的卫星图像超分辨率模型
计算机视觉与模式识别
2024-11-20 v2
摘要
在卫星图像获取过程中,由于 onboard 传感器的限制,通常存在空间分辨率与时间分辨率(获取频率)之间的权衡。高分辨率卫星图像对农业作物监测、城市规划、野火管理等领域具有重要意义。如何实现卫星图像的高时空分辨率是一项具有重要意义但也颇具挑战性的任务。随着扩散模型的出现,我们现在可以学习到强大的生成先验,用于生成具有高分辨率的真实卫星图像,这可以促进超分辨率任务的实现。本文提出了一种 novel 基于扩散的融合算法,称为 SatDiffMoE,可将任意数量的同一位置低分辨率卫星图像序列作为输入,融合生成具有更细微细节的高分辨率重构图像,通过利用和融合来自不同时间点的互补信息。该算法高度灵活,可进行任意数量低分辨率图像的训练和推理。实验结果表明,我们提出的 SatDiffMoE 方法在多个数据集上实现了卫星图像超分辨率任务的优异性能,同时相较于以前的方法,还实现了改进的计算效率和减少的模型参数。
引用
@article{arxiv.2406.10225,
title = {SatDiffMoE: A Mixture of Estimation Method for Satellite Image Super-resolution with Latent Diffusion Models},
author = {Zhaoxu Luo and Bowen Song and Liyue Shen},
journal= {arXiv preprint arXiv:2406.10225},
year = {2024}
}
备注
Accepted by ICML 2024 Workshop on Advancing Neural Network Training (WANT): Computational Efficiency, Scalability, and Resource Optimization