通用全景细化基础模型
计算机视觉与模式识别
2026-03-05 v1
摘要
全景细化通过整合来自纹理丰富的全景（PAN）图像中的空间细节和来自低分辨率多光谱（MS）图像中的光谱属性，生成高分辨率 MS 图像。现有方法主要针对卫星特定且场景依赖，严重限制了其在异构传感器和 varied 场景中的泛化能力，降低了实际应用的实用性。为此，我们提出了 FoundPS，一个面向卫星无关且场景鲁棒的全景细化基础模型。具体而言，我们引入一种交错变换器，学习频段特定的模态专长，以形成可逆的光谱仿射基，映射任意频段 MS 至统一潜在空间。基于此，我们构建潜在扩散桥接模型，以逐步演化潜在表示，纳入桥接后验抽样以耦合潜在扩散与像素空间观测，实现稳定可控的融合。进一步，我们构思无限维像素到潜在的交互机制，全面捕获 PAN 观测与 MS 表示之间的跨域依赖，从而促进互补信息融合。此外，为支持大规模训练与评估，我们构建了综合性全景细化基准，称为 PSBench，包含来自多个卫星、跨越多样场景的全球 MS 与 PAN 图像对。广泛实验表明，FoundPS 在各种全景细化任务中均显著优于最先进方法，展现出卓越的泛化性和鲁棒性。
引用
@article{arxiv.2603.03831,
title = {Universal Pansharpening Foundation Model},
author = {Hebaixu Wang and Jing Zhang and Haonan Guo and Di Wang and Jiayi Ma and Bo Du and Liangpei Zhang},
journal= {arXiv preprint arXiv:2603.03831},
year = {2026}
}