具有约化张量积表示的简单循环单元
神经与进化计算
2019-11-06 v6 机器学习
符号计算
摘要
广泛使用的循环单元，包括长短期记忆（LSTM）与门控循环单元（GRU），在自然语言任务上表现良好，但其学习结构化表示的能力仍存疑。利用约化张量积表示（TPRs）——一种将向量嵌入符号绑定到向量嵌入结构位置的符号结构分布式表示——我们提出了 TPRU，一种简单循环单元，其在每个时间步显式执行结构角色绑定与解绑定操作，以将结构信息纳入学习。我们对提出的 TPRU 进行了梯度分析以支持模型设计，其在多个数据集上的性能展示了我们设计选择的有效性。此外，基于语言学的研究观察证明了我们 TPRU 的可解释性。
引用
@article{arxiv.1810.12456,
title = {A Simple Recurrent Unit with Reduced Tensor Product Representations},
author = {Shuai Tang and Paul Smolensky and Virginia R. de Sa},
journal= {arXiv preprint arXiv:1810.12456},
year = {2019}
}