语言模型与神经响应测量之间的结构相似性
计算与语言
2023-11-01 v2 人工智能
摘要
大语言模型（LLMs）具有复杂的内部动态，但其诱导出的词与短语的表示几何结构可供我们研究。人类语言处理同样不透明，但神经响应测量可提供听或读过程中激活的（含噪）记录，从中我们可以提取词与短语的类似表示。在此，我们研究在脑解码背景下这些表示所诱导的几何结构在多大程度上具有相似性。我们发现，神经语言模型规模越大，其表示与脑成像得到的神经响应测量在结构上越相似。代码见 \url{https://github.com/coastalcph/brainlm}。
引用
@article{arxiv.2306.01930,
title = {Structural Similarities Between Language Models and Neural Response Measurements},
author = {Jiaang Li and Antonia Karamolegkou and Yova Kementchedjhieva and Mostafa Abdou and Sune Lehmann and Anders Søgaard},
journal= {arXiv preprint arXiv:2306.01930},
year = {2023}
}
备注
NeurReps@NeurIPS 2023