任务驱动的提示学习：一种多模态云去除与分割的联合框架
计算机视觉与模式识别
2026-04-29 v2
摘要
光学遥感影像对于地球观测不可或缺，但持续的云遮挡限制了其下游应用。大多数云去除方法针对低级保真度进行优化，可能会过度平滑对分析就绪数据至关重要的纹理和边界，导致视觉上合理的恢复与语义效用之间的不匹配。为了弥合这一差距，我们提出了 TDP-CR，这是一个任务驱动的多模态框架，联合执行云去除和土地覆盖分割。我们方法的核心是提示引导融合机制，该机制利用可学习的退化提示来编码云厚度和空间不确定性。通过将全局通道上下文与局部提示条件的空间偏置相结合，PGF 仅在光学数据损坏的区域自适应地集成合成孔径雷达信息。我们进一步引入了一种参数高效的两阶段训练策略，将重建和语义表示学习解耦。在 LuojiaSET-OSFCR 数据集上的实验证明了我们框架的优越性：TDP-CR 在仅使用 15% 参数的情况下，PSNR 超越了重量级的最先进基线 0.18 dB，并且在多任务竞争对手中持续实现了 1.4% 的 mIoU 提升，有效地提供了分析就绪数据。
引用
@article{arxiv.2601.12052,
title = {Task-Driven Prompt Learning: A Joint Framework for Multi-modal Cloud Removal and Segmentation},
author = {Zaiyan Zhang and Jie Li and Shaowei Shi and Qiangqiang Yuan},
journal= {arXiv preprint arXiv:2601.12052},
year = {2026}
}
备注
Accepted by IGARSS 2026 Conference (Oral)