基于知识蒸馏的多模态图像分类在线传感器幻象

我们处理信息融合驱动的卫星图像/场景分类问题，并提出了一种通用的幻象架构，该架构考虑到在训练期间所有可用的传感器信息均存在，而在测试期间某些图像模态可能缺失。众所周知，不同的传感器能够捕获给定地理区域的互补信息，与仅考虑模态子集相比，融合所有来源信息的分类模块有望产生更好的性能。然而，经典的分类器系统本质上要求测试实例也必须具备用于训练模块的所有特征，这对于典型的遥感应用（如灾害管理）而言并不总是可行的。作为补救，我们提供了一种稳健的解决方案，即利用幻象模块在决策阶段从可用模态中近似缺失模态。为了在模态幻象过程中确保更好的知识迁移，我们在框架中明确引入了知识蒸馏的概念，以探索特权（侧边）信息，并随后提出了一种直观的模块化训练方法。所提出的网络在大规模 PAN-MS 图像对数据集（场景识别）和基准高光谱图像数据集（图像分类）上进行了广泛评估，我们在不同的实验场景下发现，所提出的基于幻象的模块确实能够捕获多源信息，尽管部分传感器信息明确缺失，仍有助于改善场景表征。