用于集成 EEG-视频癫痫检测的多模态预训练网络
计算机视觉与模式识别
2026-04-30 v1
摘要
可靠的小鼠模型癫痫检测是临床前癫痫研究的必需品，但手动审查同步的视频-脑电（EEG）记录效率低下，单模态系统因原因不同而不足：视频方法易受良性行为干扰，而 EEG 方法则易受夜间运动伪影干扰。我们提出 EEGVFusion，一种多模态框架，结合自监督 EEG 表示学习、时空视频编码、最优传输对齐和双向交叉注意力，将神经和行为证据整合。我们还构建了一个由 15 只小鼠、93 场会话组成的同步 EEG 和视频记录的数据集用于训练和评估。在随机会话分割实验中，EEGVFusion 实现了平衡准确率为 0.9957，事件灵敏度为 100%，事件远假警报率为 0.6250 FP/h，表明在低假警负担下实现了强大的癫痫检测性能。在单个留出受试者评估中（Subject 110 用于测试），EEGVFusion 实现了平衡准确率为 0.9718，将 EEG 单模态方法的事件远假警报率从 2.7250 FP/h 降至 0.4833 FP/h，同时保持完美的事件灵敏度。针对性消融实验进一步表明，EEG 预训练和最优传输对齐有助于降低假警 while 保持事件灵敏度。
引用
@article{arxiv.2604.26379,
title = {A Multimodal Pre-trained Network for Integrated EEG-Video Seizure Detection},
author = {Tong Lu and Ke Xu and Zimo Zhang and Zitong Zhao and Danwei Weng and Ruiyu Wang and Miao Liu and Zizuo Zhang and Jingyi Yao and Yixuan Zhao and Wenchao Zhang and Min Wang and Guoming Luan and Minmin Luo and Zhifeng Yue},
journal= {arXiv preprint arXiv:2604.26379},
year = {2026}
}