RNN 隐式实现张量积表示
计算与语言
2019-03-06 v2
摘要
循环神经网络（RNNs）能够学习符号结构（如序列和句子）的连续向量表示；这些表示常表现出线性规律性（类比）。此类规律性促使我们提出假设：表现出此类规律性的 RNN 将符号结构隐式编译为张量积表示（TPRs；Smolensky, 1990），后者将表示角色（如序列位置）的向量与表示填充词（如特定词）的向量之张量积相加组合。为验证该假设，我们引入张量积分解网络（TPDNs），其利用 TPRs 逼近已有向量表示。我们使用合成数据证明，TPDNs 能成功逼近基于线性和树的 RNN 自编码器表示，表明这些表示展现出可解释的复合结构；我们探究了导致 RNN 诱导此类结构敏感表示的条件。相比之下，进一步的 TPDN 实验表明，四个训练用于编码自然句子的模型的表示在很大程度上可用词袋模型逼近，更复杂结构仅带来边际改进。我们得出结论：TPDNs 为解释向量表示提供了强有力方法，且标准 RNN 能诱导出可由 TPRs 极佳逼近的复合序列表示；同时，现有的句子表示学习任务可能不足以诱导出稳健的结构表示。
引用
@article{arxiv.1812.08718,
title = {RNNs Implicitly Implement Tensor Product Representations},
author = {R. Thomas McCoy and Tal Linzen and Ewan Dunbar and Paul Smolensky},
journal= {arXiv preprint arXiv:1812.08718},
year = {2019}
}
备注
Accepted to ICLR 2019