LSTM语言模型中数与句法单元的出现
计算与语言
2019-04-03 v2
摘要
近期研究表明，在通用语言建模目标上训练的LSTM能够捕捉对句法敏感的泛化能力，例如长距离数的一致。然而，我们对其如何实现这一卓越能力缺乏机制性理解。有人推测这依赖于并未真正考虑层级结构的启发式方法。本文在单神经元层面对LSTM中数追踪的内部机制进行了详细研究。我们发现长距离数信息主要由两个“数单元”管理。重要的是，这些单元的行为部分地受其他独立显示为追踪句法结构的单元所控制。我们得出结论：LSTM在某种程度上正在实现真正的句法处理机制，这为更普遍地理解LSTM中的语法编码铺平了道路。
引用
@article{arxiv.1903.07435,
title = {The emergence of number and syntax units in LSTM language models},
author = {Yair Lakretz and German Kruszewski and Theo Desbordes and Dieuwke Hupkes and Stanislas Dehaene and Marco Baroni},
journal= {arXiv preprint arXiv:1903.07435},
year = {2019}
}
备注
To appear in Proceedings of NAACL, Minneapolis, MN, 2019