LSTMs能否识别性别？探究LSTMs学习抽象句法规则的能力
计算与语言
2022-11-02 v1 人工智能
机器学习
摘要
在下一词预测上训练的LSTMs能够准确执行需要追踪长距离句法依赖的语言任务。值得注意的是，在数的一致任务上模型准确率接近人类表现(Gulordava et al., 2018)。然而，我们尚未从机制上理解LSTMs如何执行此类语言任务。LSTMs是学习了抽象语法规则，还是依赖简单启发式？在此，我们测试法语中的性一致，其需要同时追踪层级句法结构与词单元的内在性别。我们的模型能够在两种主谓语境下可靠预测长距离性一致：名词-形容词与名词-被动动词一致。模型在含性别吸引子的复数名词短语上比单数情况表现出更多错误，表明其依赖来自有性别标记的冠词的线索进行一致判断。总体而言，本研究凸显了LSTMs偏离人类行为的关键方式，并质疑LSTMs是否真正学习了抽象句法规则与范畴。我们提议将性一致作为一种有用的探针，以探究LSTM语言模型的底层机制、内部表征与语言能力。
引用
@article{arxiv.2211.00153,
title = {Do LSTMs See Gender? Probing the Ability of LSTMs to Learn Abstract Syntactic Rules},
author = {Priyanka Sukumaran and Conor Houghton and Nina Kazanina},
journal= {arXiv preprint arXiv:2211.00153},
year = {2022}
}
备注
Accepted at EMNLP 2022 Workshop BlackBoxNLP: Analysing and Interpreting Neural Networks for NLP