调谐至神经编码：关联人脑与人工监督式语言表征
计算与语言
2023-10-10 v1 人工智能
摘要
为理解支撑人脑语言表征的算法，先前研究尝试使用人工神经网络（ANN）生成的嵌入来预测对语言刺激的神经响应，这一过程被称为神经编码。然而，这些研究大多聚焦于探测日耳曼语（如英语）在无人监督 ANN 下的神经表征。本文提出弥合人脑与监督式 ANN 对中文语言表征之间的鸿沟。具体而言，我们探究任务调优如何影响预训练 Transformer 的神经编码，以及哪些任务能带来最佳编码性能。我们利用提示调优（prompt-tuning，一种在语言神经编码中鲜有探索的技术）在八个自然语言理解（NLU）任务上生成监督式表征。我们证明，在四个任务上，提示调优产生的表征比传统微调更能预测对中文刺激的神经响应。此外，我们发现，需要对概念和实体进行细粒度处理的任务所产生的表征，对脑激活模式的预测性最强。另外，我们揭示调优参数的比例高度影响微调模型的神经编码性能。总体而言，我们的实验发现有助于我们更好地理解监督式人工语言表征与大脑语言表征之间的关系。
引用
@article{arxiv.2310.04460,
title = {Tuning In to Neural Encoding: Linking Human Brain and Artificial Supervised Representations of Language},
author = {Jingyuan Sun and Xiaohan Zhang and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2310.04460},
year = {2023}
}
备注
ECAI 2023