可解释 MST-ECoGNet 从 ECoG 信号解码视觉信息

在脑机接口的应用中，我们不仅需要准确解码脑信号，还需要考虑解码过程的可解释性，这与模型的可靠性密切相关。在设计解码器或处理脑信号时，我们需要以物理或生理学方式解释所发现的现象。可解释模型不仅使信号处理过程更清晰，提高了可靠性，也使我们能够更好地理解脑活动，促进进一步的脑研究。在本文中，我们系统地分析了来自视觉脑信号 ECoG 的多分类数据集，使用一种简单且高度可解释的方法探索 ECoG 如何携带视觉信息，然后基于这些发现，我们提出了一种结合传统数学和深度学习的方法，称为 MST-ECoGNet。本文的主要贡献包括：1）发现 ECoG 时频域信息携带视觉信息，为视觉分类任务提供重要特征。Modified S 变换（MST）的数学方法可有效提取时频域信息；2）ECoG 信号的空间域也携带视觉信息，独特的空间特征也是分类任务的重要特征；3）时频域的实部和虚部信息是互补的。两种信息的有效组合比仅使用幅值信息更有助于分类任务；4）最后，与以往工作相比，我们的模型更小且性能更高：对于对象 MonJ，模型大小缩小至 10.82%，准确率提高 6.63%；对于对象 MonC，模型大小缩小至 8.78%，准确率提高 16.63%。