Neural-MCRL: 基于神经网络的多模态对比表征学习用于EEG信号视觉解码
计算机视觉与模式识别
2025-03-25 v2
摘要
从基于脑电图(EEG)的脑活动中解码神经视觉表征是推动脑机接口(BMI)发展的关键任务，具有变革性的应用前景。尽管多模态对比表征学习(MCRL)在神经解码中显示出前景，但现有方法常常忽视模态内部的语义一致性和完整性，亦缺乏跨模态有效的语义对齐。这限制了其捕捉视觉神经响应复杂表征的能力。我们提出了Neural-MCRL——一种通过语义桥接和跨注意力机制实现多模态对齐的新型框架，同时确保模态内部的完整性和跨模态的一致性。该框架还特色化的神经编码器(NESTA)，一种能够自适应捕捉谱系模式并学习受试者特定变换的EEG编码器。实验结果表明，与当前最先进方法相比，Neural-MCRL在视觉解码准确率和模型泛化能力方面实现了显著提升，推动了EEG信号神经视觉表征解码领域的发展。代码将在：https://github.com/NZWANG/Neural-MCRL 提供。
引用
@article{arxiv.2412.17337,
title = {Neural-MCRL: Neural Multimodal Contrastive Representation Learning for EEG-based Visual Decoding},
author = {Yueyang Li and Zijian Kang and Shengyu Gong and Wenhao Dong and Weiming Zeng and Hongjie Yan and Wai Ting Siok and Nizhuan Wang},
journal= {arXiv preprint arXiv:2412.17337},
year = {2025}
}