心之眼：通过多模态相似保持对比学习实现 EEG 图像识别
信号处理
2024-06-26 v1 人工智能
人机交互
机器学习
神经元与认知
摘要
从非侵入性脑电图（EEG）信号解码图像一直是理解人类大脑在现实场景中如何处理视觉信息的重大挑战。为应对信噪比和非平稳性问题，本文提出了一种保持多模态相似性的对比学习（MUltimodal Similarity-keeping contrastivE learning, MUSE）框架，用于零样图 EEG 基于图像的分类。我们开发了一系列针对 EEG 信号的多变量时序编码器，并评估了使用大型视觉 EEG 数据集进行正则化对比 EEG-图像预训练的有效性。本方法实现了最先进的性能，在 200 类零样图图像分类中实现了 19.3% 的 Top-1 准确率和 48.8% 的 Top-5 准确率。此外，我们通过模型解释可视化神经模式，为人类大脑的视觉处理动力学提供了见解。本作品的代码仓库已公开：https://github.com/ChiShengChen/MUSE_EEG。
引用
@article{arxiv.2406.16910,
title = {Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning},
author = {Chi-Sheng Chen and Chun-Shu Wei},
journal= {arXiv preprint arXiv:2406.16910},
year = {2024}
}
备注
19 pages, 14 figures