Fose：一种一步扩散与端到端网络融合的 Pansharpening 方法
计算机视觉与模式识别
2025-12-22 v1 人工智能
摘要
Pansharpening 是一种重要的图像融合任务，通过融合低分辨率多光谱图像（LRMSI）和高分辨率色差图像（PAN）来获得高分辨率多光谱图像（HRMSI）。扩散模型（DM）和端到端模型（E2E model）的发展极大地推动了 Pansharpening 的技术前沿。DM 采用多步骤扩散来获取 LRMSI 与 HRMSI 之间残差的精确估计。然而，多步骤过程计算耗费大且耗时。至于 E2E 模型，其性能仍受限于缺乏先验信息和结构简单。本文提出一种新颖的四阶段训练策略，以获得轻量级网络 Fose，融合一种一步 DM 和 E2E 模型。我们对增强型 SOTA DM 进行一步蒸馏，将推理过程从 50 步压缩至仅 1 步。随后我们将 E2E 模型与一步 DM 融合，并采用轻量级集成模块。我们在三个常用基准数据集上进行了全面实验，证明了所提 Fose 方法的显著性能提升。此外，我们实现了相对于基线 DM 的 7.42 倍加速比，同时取得了更好的性能。代码和模型已发布于 https://github.com/Kai-Liu001/Fose。
引用
@article{arxiv.2512.17202,
title = {Fose: Fusion of One-Step Diffusion and End-to-End Network for Pansharpening},
author = {Kai Liu and Zeli Lin and Weibo Wang and Linghe Kong and Yulun Zhang},
journal= {arXiv preprint arXiv:2512.17202},
year = {2025}
}
备注
Code link: https://github.com/Kai-Liu001/Fose