面向星载多光谱卫星图像的全景分割

随着低功耗嵌入式计算设备与遥感仪器的巨大进步，传统卫星图像处理流程——包括在地面处理数据前昂贵的数据传输步骤——正被星上捕获数据的处理所取代。这种范式转变使得关键且对时间敏感的解析情报能够在卫星自身上及时获取。然而，目前多光谱卫星图像的星上处理仅限于分类与分割任务。为将处理扩展到下一合理层级，本文提出一种用于星载多光谱卫星图像全景分割的轻量级流程。全景分割提供重要的经济与环境洞察，从农业用地的产量估算到复杂军事应用的情报。尽管如此，由于时间观测的丢失以及需从单幅图像样本生成预测，星上智能提取带来了若干挑战。为应对此挑战，我们提出一种基于跨模态注意力融合策略的多模态教师网络，通过利用多模态数据提升分割精度。我们还提出一种在线知识蒸馏框架，将该多模态教师网络学到的知识迁移至仅接收单帧输入、更适于星上环境的单模态学生网络。我们使用 PASTIS 多光谱全景分割数据集，在星上处理设定下将我们的方法与现有最先进全景分割模型进行基准对比。我们的评估表明，与现有最先进模型相比精度指标有显著提升。