LSTM 中语法依赖的归因分析
计算与语言
2020-05-04 v1 神经与进化计算
摘要
LSTM 语言模型已被证明能够以较高准确度捕捉诸如主谓一致等语法敏感的语法依赖（Linzen 等，2016 等）。然而，关于它们是否利用虚假相关性做到这一点，还是真正能够将动词与其主语匹配，仍存在疑问。本文支持后一种假设。利用层间相关性传播（Bach 等，2015）——一种量化输入特征对模型行为贡献的技术——我们表明 LSTM 在数字一致上的表现与模型区分主语与其他名词的能力直接相关。我们的结果表明，LSTM 语言模型能够推断出语法依赖的鲁棒表示。
引用
@article{arxiv.2005.00062,
title = {Attribution Analysis of Grammatical Dependencies in LSTMs},
author = {Yiding Hao},
journal= {arXiv preprint arXiv:2005.00062},
year = {2020}
}