利用启动效应揭示神经语言模型中句法表征的组织方式
计算与语言
2019-09-25 v1
摘要
神经语言模型（LM）在需要对句法结构敏感的任务上表现良好。借鉴心理语言学中的句法启动范式，我们提出了一种分析使此类成功成为可能的表征的新技术。通过在结构之间建立梯度相似性度量，该技术使我们能够重构 LM 句法表征空间的组织方式。我们利用该技术证明，带有关系从句的不同类型句子的 LSTM LM 表征以语言上可解释的方式分层组织，表明 LM 追踪句子的抽象属性。
引用
@article{arxiv.1909.10579,
title = {Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models},
author = {Grusha Prasad and Marten van Schijndel and Tal Linzen},
journal= {arXiv preprint arXiv:1909.10579},
year = {2019}
}
备注
9 pages paper, 2 pages references and 3 pages supplementary materials. Code for the templates and analyses can be found here: https://github.com/grushaprasad/RNN-Priming