EEG-VLM：面向EEG图像睡眠阶段预测的层次化视觉语言模型与多级特征对齐及视觉增强语言引导推理
人工智能
2025-11-25 v1
摘要
基于脑电图（EEG）的睡眠阶段分类是评估睡眠质量和诊断睡眠相关疾病的基础工作。然而，大多数传统机器学习方法依赖丰富的先验知识和手工特征，而现有的深度学习模型仍难同时捕获细粒度时频模式并实现临床可解释性。最近，视觉语言模型（VLM）在医疗领域取得了显著进展，但由于其视觉理解能力有限且推理能力不足，在应用于生理波形数据，尤其是EEG信号时，性能仍受限。为解决上述挑战，本文提出了EEG-VLM，这是一种集成多级特征对齐与视觉增强语言引导推理的层次化视觉语言框架，用于可解释的EEG-based睡眠阶段分类。具体而言，一个专门的视觉增强模块从中间层特征构建高级视觉标记，以提取EEG图像的丰富语义表征。这些标记通过多级对齐机制与低级CLIP特征对齐，增强了VLM的图像处理能力。此外，采用链式思维（CoT）推理策略将复杂医学推理分解为可解释的逻辑步骤，有效模拟专家式的决策-making。实验结果表明，所提方法显著提升了VLM在EEG-based睡眠阶段分类中的准确率和可解释性，显示出在临床环境中实现自动化和可解释EEG分析的潜在前景。
引用
@article{arxiv.2511.19155,
title = {EEG-VLM: A Hierarchical Vision-Language Model with Multi-Level Feature Alignment and Visually Enhanced Language-Guided Reasoning for EEG Image-Based Sleep Stage Prediction},
author = {Xihe Qiu and Gengchen Ma and Haoyu Wang and Chen Zhan and Xiaoyu Tan and Shuo Li},
journal= {arXiv preprint arXiv:2511.19155},
year = {2025}
}