中文

CAMEL-CLIP:面向通用脑基础模型的通道感知多模态脑电-文本对齐

机器学习 2026-03-17 v1 人工智能

摘要

脑电信号 (EEG) 基础模型已展现出学习通用表征的潜力,但其对通道异构性敏感,例如通道组成或排序的变化。我们提出了通道感知多模态脑电-文本对齐对比语言-图像预训练 (CAMEL-CLIP),这是一种针对异构通道配置而设计的对比式 EEG 文本多模态基础模型,旨在适用于多样化的下游任务。CAMEL-CLIP 引入了三个关键组件:(1) 基于通道属性的位置编码,通过语义信息识别通道;(2) 动态通道投影,通过独立投影每个通道而不进行特征压缩来生成可变长度嵌入;(3) 双层对比学习,同时执行通道级和样本级对比学习,以捕获通道特定和全局信号特征。实验结果表明,CAMEL-CLIP 在线性探索和对比现有依赖于全参数微调的基础模型方面均实现了最先进的性能。

关键词

引用

@article{arxiv.2603.13272,
  title  = {CAMEL-CLIP: Channel-aware Multimodal Electroencephalography-text Alignment for Generalizable Brain Foundation Models},
  author = {Hanseul Choi and Jinyeong Park and Seongwon Jin and Sungho Park and Jibum Kim},
  journal= {arXiv preprint arXiv:2603.13272},
  year   = {2026}
}