弱监督遥感阴影移除的跨模态球面聚合

遥感阴影移除旨在恢复受阴影污染的表面信息，但由于阴影通常显示极低的照明强度，此任务颇具挑战性。相较之下，红外图像对显著光照变化具有鲁棒性，提供了补充于可见图像的视觉线索。然而，现有方法忽略了异构模态之间的协作，导致结果质量下降。为填补这一空白，我们提出了一种带球面特征空间的弱监督阴影移除网络，称为 S2-ShadowNet，旨在探索可见和红外模态的双方优势。具体而言，我们采用模态翻译（可见至红外）模型学习跨域映射，从而生成逼真的红外样本。随后利用 Swin Transformer 提取强表征性的可见/红外特征。同时，这些提取的特征被映射到光滑的球面流形上，这通过正则化有助于缓解领域偏移。我们嵌入设计的相似度损失和正交性损失到球面空间中，通过对表示内容和方向的约束，促进私有可见/红外特征的分离以及共享可见/红外特征的对齐。这种方式鼓励模态之间隐式的相互性，从而为阴影移除提供了新的思路。值得注意的是，实际操作中不存在真实标签，因此 S2-ShadowNet 通过从阴影图像中裁剪阴影和阴影自由区域的块进行训练，规避了典型且严格的配对数据获取。更重要的是，我们贡献了一个大规模弱监督阴影移除基准数据集，包含 4000 张阴影图像及其对应的阴影掩码。