探索脑电图与眼动融合用于多类目标RSVP-BCI

基于快速序列视觉呈现（RSVP）的脑机接口（BCI）通过识别脑电图信号中诱发的事件相关电位（ERP）来实现高通量目标图像检测。RSVP-BCI系统能有效检测图像流中的单类目标，但在需要检测多个目标类别的场景中应用有限。多类RSVP-BCI系统通过同时识别目标的存在并区分其类别来解决这一局限性。然而，现有的多类RSVP解码算法主要依赖单模态脑电图解码，由于不同目标类别诱发的ERP高度相似，限制了其性能提升。在这项工作中，我们将眼动（EM）模态引入多类RSVP解码，并探索脑电图与眼动融合以增强解码性能。首先，我们设计了三个独立的多类目标RSVP任务，并构建了一个包含43名受试者的脑电图和眼动信号的开源数据集。然后，我们提出了多类目标RSVP脑电图与眼动融合网络（MTREE-Net）以增强多类RSVP解码。具体来说，提出了一个双互补模块来增强单模态特征在类别间的区分度。为了改善多模态融合性能，我们采用了一种由理论推导的模态贡献比引导的动态重加权融合策略。此外，我们通过两个层次分类器之间的知识转移减少了非目标样本的错误分类。大量实验证明了将眼动信号集成到多类RSVP解码中的可行性，并突出了MTREE-Net与现有RSVP解码方法相比的优越性能。所提出的MTREE-Net和开源数据集为开发实用的多类RSVP-BCI系统提供了一个有前景的框架。