利用基于 Transformer 的语言模型建模自然阅读的认知过程
计算与语言
2025-05-19 v1 人工智能
摘要
自然语言处理（NLP）的最新进展催生了用于文本生成的高度复杂的语言模型。与此同时，神经科学越来越多地采用这些模型来探索语言理解所涉及的认知过程。先前研究表明，N-gram 和 LSTM 网络等模型可以部分解释阅读过程中眼动行为（特别是凝视时长）的可预测性效应。在本研究中，我们通过评估基于 Transformer 的模型（GPT2、LLaMA-7B 和 LLaMA2-7B）来进一步探究这种关系。我们的结果表明，这些架构在解释拉普拉塔河西班牙语读者的凝视时长方差方面优于早期模型。然而，与先前研究类似，这些模型仍无法完全解释人类可预测性所捕获的全部方差。这些发现表明，尽管取得了进步，最先进的语言模型预测语言的方式仍与人类读者不同。
引用
@article{arxiv.2505.11485,
title = {Modeling cognitive processes of natural reading with transformer-based Language Models},
author = {Bruno Bianchi and Fermín Travi and Juan E. Kamienkowski},
journal= {arXiv preprint arXiv:2505.11485},
year = {2025}
}