用于三通道运动想象分类的时-空-频特征融合

低通道脑电设备对于便携式和娱乐应用至关重要。然而，脑电的低空间分辨率给低通道运动想象解码带来了挑战。本研究提出TSFF-Net，一种集成时-空-频特征的新颖网络架构，有效弥补了基于时间序列或时频模态的单模态特征提取网络的局限。TSFF-Net包含四个主要部分：时频表示、时频特征提取、时空特征提取以及特征融合与分类。时频表示与特征提取将原始脑电信号转换为时频谱图并提取相关特征；时空网络以时间序列脑电试次作为输入并提取时空特征；特征融合采用MMD损失在再生核希尔伯特空间中约束时频与时空特征的分布，随后使用加权融合方法组合这些特征以获得有效的时-空-频特征。此外，基于时频谱图的三通道运动想象解码研究甚少。本研究提出一种基于时频谱图的浅层轻量解码架构（TSFF-img），并利用两个公开数据集与其他方法在低通道运动想象中的分类性能进行比较。实验结果表明，TSFF-Net不仅弥补了单模态特征提取网络在脑电解码中的不足，而且优于其他最先进的方法。总体而言，TSFF-Net在低通道运动想象解码中具有显著优势，并为算法增强低通道脑电解码提供了有价值的见解。