表征是否自下而上构建？语言模型中局部组合性的实证考察
计算与语言
2022-10-25 v2
摘要
组合性，即短语的意义可由其组成部分推导而来，是人类语言的一个标志。与此同时，许多短语是非组合的，承载着超出各部分孤立意义之外的含义。表示这两类短语对于语言理解至关重要，但现代语言模型（LMs）是否学会如此表示仍是一个开放问题；在本文中我们考察该问题。我们首先提出一个给定组成成分的 LM 内部表征来预测较长短语表征的问题。我们发现，给定其子节点的仿射变换，父短语的表征可在一定准确度下被预测。尽管我们预期预测准确度与人类对语义组合性的判断相关，但发现大体并非如此，这表明 LMs 可能未能准确区分组合与非组合短语。我们进行了多种分析，揭示了不同种类 LMs 在何时生成或不生成组合性表征，并讨论了未来建模工作的启示。
引用
@article{arxiv.2210.03575,
title = {Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models},
author = {Emmy Liu and Graham Neubig},
journal= {arXiv preprint arXiv:2210.03575},
year = {2022}
}
备注
EMNLP 2022