用于刻画 LSTM 语言模型中主谓数一致性的影响路径
计算与语言
2020-05-05 v1
摘要
基于 LSTM 的循环神经网络是许多自然语言处理（NLP）任务的最先进方法。尽管性能优异，目前仍不清楚 LSTM 是否或如何学习自然语言的结构特征，例如英语中的主谓数一致性。缺乏这种理解，LSTM 在该任务上性能的普适性及其对相关任务的适用性仍不确定。此外，错误无法被正确归因于结构能力的缺乏、训练数据的遗漏或其他异常故障。我们引入*影响路径*，作为对结构属性的因果解释，由循环神经网络中跨越门与神经元路径承载。该方法将影响的概念（主语的语法数影响后续动词的语法数）细化为一组门或神经元级路径。该集合定位并分割了概念（例如主谓一致性）、其组成元素（例如主语）以及相关或干扰元素（例如吸引子）。我们在一个被广泛研究的多层 LSTM 语言模型上示例了该方法论，展示其对主谓数一致性的解释。相较于基于诊断分类器和消融的先前结果，这些结果提供了对 LSTM 处理英语这一结构方面更精细且更完整的视角。
引用
@article{arxiv.2005.01190,
title = {Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM Language Models},
author = {Kaiji Lu and Piotr Mardziel and Klas Leino and Matt Fedrikson and Anupam Datta},
journal= {arXiv preprint arXiv:2005.01190},
year = {2020}
}
备注
ACL 2020