SCDM: MI-BCI中EEG到fNIRS跨模态生成的统一表示学习

混合运动想象脑机接口整合了脑电图和功能性近红外光谱信号，其性能优于仅基于EEG的脑机接口。然而，由于难以在同一头皮表面共同定位两种类型的传感器，同时记录EEG和fNIRS信号极具挑战性。这种物理约束使得获取高质量的混合信号变得复杂，从而限制了混合MI-BCI的广泛应用。为促进混合EEG-fNIRS信号的获取，本研究提出了时空控制扩散模型作为从EEG到fNIRS的跨模态生成框架。该模型利用两个核心模块：空间跨模态生成模块和多尺度时间表示模块，它们在统一表示空间中自适应地学习两种信号各自的潜在时间和空间表示。SCG模块进一步通过利用它们的空间关系将EEG表示映射到fNIRS表示。实验结果显示，合成fNIRS信号与真实fNIRS信号之间具有高度相似性。EEG与合成fNIRS信号的联合分类性能与EEG结合真实fNIRS信号的性能相当甚至更优。此外，合成信号展现出与真实信号相似的时空特征，同时保留了与EEG信号的空间关系。实验结果表明，SCDM可能代表了MI-BCI系统中获取混合EEG-fNIRS信号的一种有前景的范式。