回路中的 Transformer：语言神经模型中的极性
计算与语言
2022-03-21 v2
摘要
计算语言模型对语言现象的表示，通常依据这些现象的现有语言学理论预测来评估。我们以极性概念为案例研究，表明这并非总是最合适的设置。我们在两个预训练的基于 Transformer 的模型（BERT 和 GPT-2）中，通过所谓的“负极项”（特别是英语中的“any”）来探究极性。我们表明，至少对于极性而言，从语言模型导出的度量指标比语言学理论预测更符合心理语言学实验的数据。确立这一点使我们能够更充分地评估语言模型的性能，并利用语言模型发现超越现有语言学理论的关于自然语言语法的新见解。这项工作有助于在心理语言学实验与语言模型实验之间建立更紧密的联系。
引用
@article{arxiv.2109.03926,
title = {Transformers in the loop: Polarity in neural models of language},
author = {Lisa Bylinina and Alexey Tikhonov},
journal= {arXiv preprint arXiv:2109.03926},
year = {2022}
}
备注
Accepted to ACL 2022 main conference