基于 sEEG 的句子检索编码：脑-语言对齐的对比学习方法
计算与语言
2025-04-22 v1 机器学习
信号处理
神经元与认知
摘要
通过有意义的潜在表征解读神经活动，仍然是神经科学与人工智能交叉领域的一个复杂且不断演进的挑战。我们研究了多模态基础模型将侵入性脑记录与自然语言对齐的潜力。我们提出 SSENSE，一个对比学习框架，将单受试者立体脑电图（sEEG）信号投影到冻结 CLIP 模型的句子嵌入空间中，实现直接从脑活动进行句子级检索。SSENSE 使用 InfoNCE 损失在 sEEG 的谱表示上训练神经编码器，不对文本编码器进行微调。我们在时间对齐的 sEEG 和自然电影观看数据集的口语转录上评估了我们的方法。尽管数据有限，SSENSE 仍取得了有前景的结果，证明通用语言表征可以作为神经解码的有效先验。
引用
@article{arxiv.2504.14468,
title = {sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment},
author = {Yijun Liu},
journal= {arXiv preprint arXiv:2504.14468},
year = {2025}
}
备注
Accepted for poster presentation at the CVPR 2025 Workshop on Multimodal Foundation Models (MMFM3)