耦合 BERT 中的人工神经元与人脑中的生物神经元
计算与语言
2023-03-28 v1
摘要
将计算自然语言处理（NLP）模型与语言在人脑中的神经响应相联系，一方面有助于揭示语言感知背后的神经表征，另一方面为评估和改进 NLP 模型提供神经语言学证据。通常借助 NLP 模型对语言输入的表征与语言输入所诱发的脑活动之间的映射来揭示这种共生关系。然而，两个关键问题限制了其进展：1）模型的表征（人工神经元，ANs）依赖于层级的嵌入，因而缺乏细粒度；2）脑活动（生物神经元，BNs）局限于孤立皮层单元（即体素/脑区）的神经记录，因而缺乏脑功能间的整合与交互。为解决这些问题，本研究：1）在基于 transformer 的 NLP 模型（本研究为 BERT）中定义细粒度 ANs，并测量其对输入文本序列的时间激活；2）将 BNs 定义为从功能磁共振成像（fMRI）数据中提取的功能脑网络（FBNs），以捕捉脑中的功能交互；3）通过最大化 ANs 与 BNs 时间激活的同步性来耦合二者。实验结果表明：1）ANs 与 BNs 的激活显著同步；2）ANs 携带有意义的语言/语义信息并锚定于其 BN 特征；3）锚定的 BNs 在神经语言学语境下具有可解释性。总体而言，本研究引入了一种新颖、通用且有效的框架，用于关联基于 transformer 的 NLP 模型与语言诱发的神经活动，并可能为诸如受脑启发的 NLP 模型评估与开发等未来研究提供新见解。
引用
@article{arxiv.2303.14871,
title = {Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain},
author = {Xu Liu and Mengyue Zhou and Gaosheng Shi and Yu Du and Lin Zhao and Zihao Wu and David Liu and Tianming Liu and Xintao Hu},
journal= {arXiv preprint arXiv:2303.14871},
year = {2023}
}