从话语连接词视角看预训练语言模型的语用能力
计算与语言
2021-09-28 v1
摘要
随着预训练语言模型（LMs）持续主导 NLP，理解这些模型语言能力的深度变得愈发重要。本文针对预训练 LMs 的语用能力，重点关注与话语连接词相关的语用现象。我们结合自然出现的数据与来自心理语言学的受控输入，构建了完形填空式测试。我们聚焦于测试模型利用语用线索预测话语连接词的能力、理解连接词相关含义的能力，以及模型在连接词时间动态上表现出类人偏好的程度。我们发现，尽管模型在自然出现数据的语境下能较合理地预测连接词，但当控制语境以隔离高层语用线索时，模型的敏感度大幅降低。模型也未表现出显著的类人时间偏好。总体而言，研究结果表明，当前主流的预训练范式并未使我们的模型获得实质性的语用能力。
引用
@article{arxiv.2109.12951,
title = {Pragmatic competence of pre-trained language models through the lens of discourse connectives},
author = {Lalchand Pandia and Yan Cong and Allyson Ettinger},
journal= {arXiv preprint arXiv:2109.12951},
year = {2021}
}
备注
Accepted at CoNLL 2021