基于稀疏神经网络的脑类在线适应遥感

设备计算或边缘计算正变得越来越重要，尤其是对于深度网络驱动的遥感感知任务，如在轨卫星和无人机上。 在这些场景中，两种类脑功能对遥感模型至关重要：(1) 高能效，使模型能够在计算资源有限的边缘设备上运行；(2) 在线适应，使模型能够快速适应环境变化、天气变化和传感器漂移。在本工作中，我们提出了一种基于稀疏神经网络（SNN）的在线适应框架，用于遥感。我们以预训练的SNN模型为起点，设计了一种高效的无监督在线适应算法，该算法采用BPTT算法的近似方法，仅涉及正向时间计算，从而显著降低了SNN适应学习的计算复杂度。此外，我们提出了一种自适应激活缩放方案，以提升在低时间步长下的SNN在线适应性能。对于更具挑战性的遥感检测任务，我们提出了基于置信度的实例加权方案，显著改善了检测任务中的适应性能。鉴于本工作是首次针对SNN的在线适应，本文通过在七个基准数据集上的大量实验表明，我们提出的方法在各种天气条件下，显著优于现有的域适应和域泛化方法。该方法实现了在边缘设备上的高效能和快速在线适应，具有广泛的潜力，适用于轨道卫星和无人机上的遥感感知等应用。