DIS2：面向缺失模态下鲁棒遥感分割的解耦、蒸馏与逐类注意力机制
计算机视觉与模式识别
2026-01-21 v1
摘要
多模态学习在遥感（RS）中的有效性因模态缺失而受到严重损害。遥感数据的高度异质性和巨大的尺度变化加剧了这一挑战。因此，在其他领域被证明有效的范式在面对这些独特的数据特征时往往失效。传统的解耦学习依赖于模态之间显著的特征重叠（模态不变），对于这种异质性是不够的。同样，知识蒸馏变成了一个不适定的模仿任务，学生模型无法专注于必要的补偿知识，导致语义鸿沟未被解决。因此，我们的工作建立在专门为遥感设计的三个支柱上：（1）原则性的缺失信息补偿，（2）特定类别的模态贡献，以及（3）多分辨率特征重要性。我们提出了一种新方法 DIS2，这是一种从依赖模态共享特征和无目标模仿转向主动、引导式缺失特征补偿的新范式。其核心创新在于解耦学习与知识蒸馏之间重新构建的协同作用，称为 DLKD。补偿特征被显式捕获，当与可用模态的特征融合时，近似于全模态情况下的理想融合表示。为了解决特定类别的挑战，我们的逐类特征学习模块（CFLM）根据信号可用性自适应地学习每个目标的判别性证据。DLKD 和 CFLM 都由一个分层混合融合（HF）结构提供支持，该结构利用跨分辨率的特征来增强预测。大量实验验证了我们所提出的方法在各项基准上显著优于 SOTA 方法。
引用
@article{arxiv.2601.13502,
title = {DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities},
author = {Nhi Kieu and Kien Nguyen and Arnold Wiliem and Clinton Fookes and Sridha Sridharan},
journal= {arXiv preprint arXiv:2601.13502},
year = {2026}
}
备注
Accepted to WACV 2026 - Computer Vision for Earth Observation Workshop