Transformer 语言模型能否预测心理测量属性？
计算与语言
2021-06-15 v1
摘要
基于 Transformer 的语言模型（LM）持续推动 NLP 基准任务（包括那些旨在模拟人类启发式“常识”能力的任务）的最先进性能。为更好理解在何种程度上可认为 LM 具备某些语言推理技能，研究者正开始借鉴心理测量学领域的工具与概念。但益处能在多大程度上反向流动？即，LM 能否用于预测当测试条目施测于人类参与者时其心理测量属性为何？我们收集了众多人类参与者与 LM（基于 Transformer 与非 Transformer 的）在一项广泛语言能力的诊断测试上的回应。随后我们分别利用人类回应与 LM 回应计算该诊断测试条目的标准心理测量属性。接着我们确定这两组预测在多大程度上吻合。我们发现基于 Transformer 的 LM 在某些类别上持续良好预测心理测量属性、而在其他类别上持续不佳的案例，从而为人类与 LM 推理间的根本相似与差异提供新见解。
引用
@article{arxiv.2106.06849,
title = {Can Transformer Language Models Predict Psychometric Properties?},
author = {Antonio Laverghetta and Animesh Nighojkar and Jamshidbek Mirzakhalov and John Licato},
journal= {arXiv preprint arXiv:2106.06849},
year = {2021}
}
备注
Proceedings of the 10th Joint Conference on Lexical and Computational Semantics (*SEM 2021)