从人类行为视角探测大语言模型
计算与语言
2024-04-16 v2
摘要
大语言模型（LLMs）已成为现代自然语言处理（NLP）中的主导基础模型。然而，对其预测过程与内部机制（如前馈网络（FFN）和多头自注意力（MHSA））的理解仍很大程度上未被探索。在本工作中，我们从人类行为视角探测 LLMs，将 LLMs 中的数值与眼动追踪指标相关联，后者被广泛认为是人类阅读模式的有意义指标。我们的发现表明，LLMs 展现出与人类相似而与浅层语言模型（SLMs）不同的预测模式。此外，随着 LLM 层从中层开始加深，FFN 与 MHSA 中的相关系数也随之增加，表明 FFN 内的 logits 日益封装了适于从词表中预测词元的词语义。
引用
@article{arxiv.2310.05216,
title = {Probing Large Language Models from A Human Behavioral Perspective},
author = {Xintong Wang and Xiaoyu Li and Xingshan Li and Chris Biemann},
journal= {arXiv preprint arXiv:2310.05216},
year = {2024}
}
备注
Accepted by LREC-COLING NeusymBridge 2024