将不平衡最优输运控制流匹配以实现快速图像 Pansharpening
计算机视觉与模式识别
2025-03-20 v1
摘要
Pansharpening 是遥感中融合高分辨率 Pan 像和多光谱图像的关键任务，已引起广泛关注。最近采用基于随机微分方程(SDE) 的扩散模型的方法显示出领先性能。然而，SDE 的固有多步骤采样过程导致计算开销大，限制了实际部署。虽然现有方法采用高效采样器、知识蒸馏或重新训练以减少采样步骤(例如，从 1000 步减少)，但这些方法常会牺牲融合质量。本文提出 Optimal Transport Flow Matching(OTFM) 框架，将不平衡最优输运(UOT) 的对偶形式集成到单步骤、高质量 Pansharpening 中。不同于传统 OT 方法强制分布对齐，UOT 放宽边际约束以增强建模灵活性，适应遥感数据固有的光谱和空间差异。此外，我们将任务特定的正则化纳入 UOT 目标，以增强流模型的鲁棒性。OTFM 框架实现无模拟训练和单步推理，同时严格遵循 Pansharpening 约束。跨多个数据集的实验表明，OTFM 在多个数据集上的性能与以前的回归模型和领先的扩散方法相当，仅需一个采样步骤。代码已提供。
引用
@article{arxiv.2503.14975,
title = {Taming Flow Matching with Unbalanced Optimal Transport into Fast Pansharpening},
author = {Zihan Cao and Yu Zhong and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2503.14975},
year = {2025}
}