基于在线知识学习的遥感目标计数

在无人机或嵌入式系统等计算资源受限场景的应用中，亟需高效的遥感目标计数模型。实现此目标的一个直接而强大的技术是知识蒸馏，其通过利用已训练教师网络的经验来引导学生网络的学习。然而，它面临一对挑战：首先，由于其两阶段训练性质，较长的训练周期必不可少，尤其当训练样本增加时。其次，尽管教师网络擅长传递已吸收的知识，它们往往忽略在学习过程中获得的潜在见解。为应对这些挑战，我们引入一种用于遥感目标计数的在线蒸馏学习方法。它构建一个端到端训练框架，将两个不同的网络无缝集成到一个统一网络中。其包含一个共享浅层模块、一个教师分支和一个学生分支。作为两分支基础的共享模块致力于学习一些原始信息。教师分支利用先验知识降低学习难度，并引导学生分支进行在线学习。同时，学生分支通过通道缩减实现参数减少与快速推理能力。该设计使学生分支不仅能从教师分支接收特权见解，还能挖掘教师分支在学习过程中持有的潜在知识库。此外，我们提出一种关系中的关系蒸馏方法，使学生分支能有效理解不同层间特征间层内教师特征关系的演化。大量实验证明了我们方法的有效性。