探测预训练语言模型中否定结构约束
计算与语言
2024-08-07 v1
摘要
最近的研究得出了关于预训练语言模型 (PLMs) 如何编码否定语义影响的矛盾结果（例如 Kassner 和 Schütze (2020)；Gubelmann 和 Handschuh (2022)）。本文我们关注 PLMs 如何编码否定及其形式化影响，通过研究否定极性项目 (NPI) 授权现象。更具体地，我们使用探针来识别哪些情境表示最能编码 1) 否定在句子中的存在，以及 2) 相邻被遮蔽极性项目的极性。我们发现，否定范围内的词标记的情境表示可实现 (i) 比范围外更好地预测 not 的存在，以及 (ii) 更好地预测被 not 授权的被遮蔽极性项目的正确极性，尽管二者在不同 PLM 之间的差异大小各不相同。重要的是，即使控制了到 not 的距离，这些趋势仍然成立。这表明这些模型的嵌入确实反映了否定范围的概念，并且编码了否定对 NPI 授权的影响。然而，进一步的控制实验揭示，使用位于同一语法从句内的词标记的情境表示在捕获其他词汇项目的存在时也更好地被捕获，这表明 PLMs 只是捕获了更一般的语法从句概念。
引用
@article{arxiv.2408.03070,
title = {Probing structural constraints of negation in Pretrained Language Models},
author = {David Kletz and Marie Candito and Pascal Amsili},
journal= {arXiv preprint arXiv:2408.03070},
year = {2024}
}