NeuroCLIP: 脑启发提示调优用于脑电图到图像的多模态对比学习
信息检索
2025-11-13 v1
摘要
近期脑启发人工智能的进展试图利用CLIP等多模态模型将神经信号与视觉语义对齐。然而，现有方法通常将CLIP视为静态特征提取器，忽视了其对神经表征的适应性以及脑电图-图像对齐中固有的生理-符号鸿沟。为应对这些挑战，我们提出了NeuroCLIP，一个专为脑电图到图像对比学习设计的提示调优框架。我们的方法引入了三项核心创新：(1) 我们设计了一个双流视觉嵌入流水线，结合动态滤波和令牌级融合来生成实例级自适应提示，这些提示根据图像内容引导补丁嵌入令牌的调整，从而在神经约束下实现对视觉表征的细粒度调制；(2) 我们首次将视觉提示令牌引入脑电图-图像对齐，作为全局的、模态级的提示，与实例级调整协同工作。这些视觉提示令牌被插入Transformer架构中，以促进全局层面的神经感知适应和参数优化；(3) 受人类视觉编码的神经科学原理启发，我们提出了一种改进的对比损失，能更好地建模脑电图信号中存在的语义模糊性和跨模态噪声。在THINGS-EEG2数据集上，NeuroCLIP在零样本图像检索中达到了63.2%的Top-1准确率，比先前最佳方法高出12.3%，并在跨受试者条件下展现出强大的泛化能力（Top-1提升4.6%），凸显了生理感知提示调优在桥接脑信号与视觉语义方面的潜力。
引用
@article{arxiv.2511.09250,
title = {NeuroCLIP: Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning},
author = {Jiyuan Wang and Li Zhang and Haipeng Lin and Qile Liu and Gan Huang and Ziyu Li and Zhen Liang and Xia Wu},
journal= {arXiv preprint arXiv:2511.09250},
year = {2025}
}