当语言模型陷入爱河：Transformer语言模型中的有生性加工
计算与语言
2023-10-24 v1
摘要
有生性——即一个实体是否有生命和感知能力——是认知加工的基础，影响记忆、视觉和语言等领域。然而，有生性在语言中并不总是直接表达：在英语中它常间接显现为对动词和形容词的选择限制。这给Transformer语言模型（LM）带来一个潜在问题：它们通常仅在文本上训练，因而缺乏人类借以学习有生性的语言外信息。我们追问：这如何影响LM的有生性加工——它们是否仍表现得像人类？我们使用开源LM回答此问题。与先前研究类似，我们发现当呈现有生性典型的实体时，LM的表现与人类非常相似。然而，我们也表明即使呈现关于非典型有生性实体（如陷入爱河的花生）的故事时，LM也会适应：它们将这些实体当作有生命的，尽管适应程度不如人类。即使指示非典型有生性的语境非常简短，LM也能捕捉细微线索并改变其行为。我们得出结论：尽管LM可借以学习有生性的信号有限，它们确实对英语中可用的相关词汇语义细微差别敏感。
关键词
引用
@article{arxiv.2310.15004,
title = {When Language Models Fall in Love: Animacy Processing in Transformer Language Models},
author = {Michael Hanna and Yonatan Belinkov and Sandro Pezzelle},
journal= {arXiv preprint arXiv:2310.15004},
year = {2023}
}
备注
To appear at EMNLP 2023