NeuroBind：面向神经信号的统一多模态表示
神经元与认知
2024-07-22 v1 机器学习
摘要
理解神经活动和信息表征对于推进脑功能和认知的知识具有重要意义。神经活动通过电生理和神经成像等技术进行测量，反映了信息处理的 various aspects。近年来，深度神经网络的进展为分析这些信号提供了新的方法。然而，由于不同神经信号模态之间存在差异且高质量神经数据规模有限，这些方法面临着挑战。为此，我们提出了NeuroBind，一种统一多种脑信号类型的通用表示，包括EEG、fMRI、钙成像和脉冲数据。为实现这一目标，我们将这些在图像配对的神经数据与预训练的视觉-语言嵌入对齐。Neurobind是首个系统性地研究不同神经模态相互关联并能够利用高资源模态模型处理各种神经科学任务的模型。我们还展示了通过组合不同神经信号模态的信息，Neurobind能够提升下游性能，表明不同神经模态互补优势的有效性。因此，我们可以将多种类型的神经信号映射到同一空间，以改进下游任务，并展示不同神经模态的互补优势。该方法具有推进神经科学研究、提高AI系统、开发神经假体和脑机接口的重大潜力。
引用
@article{arxiv.2407.14020,
title = {NeuroBind: Towards Unified Multimodal Representations for Neural Signals},
author = {Fengyu Yang and Chao Feng and Daniel Wang and Tianye Wang and Ziyao Zeng and Zhiyang Xu and Hyoungseob Park and Pengliang Ji and Hanbin Zhao and Yuanning Li and Alex Wong},
journal= {arXiv preprint arXiv:2407.14020},
year = {2024}
}