基于脑-眼-计算机的稀疏目标检测的自适应模态平衡在线知识蒸馏

高级认知可从人脑中提取。将这些接口与计算机视觉技术集成——后者具有高效特征提取能力——可实现对空中图像中稀疏目标的更稳健和准确的检测。然而，现有目标检测方法主要专注于均质数据，缺乏处理异构多模态数据的高效和灵活能力。本文首先构建了一个基于脑-眼-计算机的稀疏目标检测系统，用于空中图像下的few-shot条件下检测可疑目标。该系统使用区域提议网络检测目标，通过基于眼动的慢序列视觉呈现（ESSVP）范式激发脑电图（EEG）中与事件相关的潜在（ERP）信号，并构建EEG-图像数据对与眼动数据。随后，提出了一种自适应模态平衡在线知识蒸馏（Adaptive Modality Balanced Online Knowledge Distillation, AMBOKD）方法，用于识别稀疏目标。AMBOKD使用多头注意力模块融合EEG和图像特征，建立一种综合特征的新模态。为增强融合模态的性能和鲁棒性，通过端到端在线知识蒸馏实现模态间的同步训练和相互学习。在学习过程中，提出了自适应模态平衡模块，通过动态调整不同模态中重要性和训练梯度的权重来确保多模态平衡。我们的方法在与现有领先方法的比较中证明了其有效性和优越性。此外，针对公开数据集的实验以及在实际场景中的系统验证表明，所提出的系统和所设计的方法具有可靠性和实用性。