用于深度 NLP 建模的张量积生成网络
计算机视觉与模式识别
2017-12-19 v5 计算与语言
摘要
我们提出了一种设计用于自然语言处理（NLP）的深度网络的新方法，该方法基于在分布式神经网络中编码和处理符号结构的通用技术——张量积表示（TPRs）。我们提出了一种网络架构——张量积生成网络（TPGN），它在原理上能够执行 TPR 计算，但使用无约束的深度学习来设计其内部表示。在一个为图像标题生成实例化的模型中，TPGN 在 COCO 数据集上的评估表现优于 LSTM 基线。TPR 兼容的结构使得对内部表示和操作的解释成为可能，这些表示和操作被证明包含相当多的语法内容。我们的标题生成模型可以被解释为生成语法范畴序列，并根据这些范畴从一个编码为分布式表示的计划中检索词语。
引用
@article{arxiv.1709.09118,
title = {Tensor Product Generation Networks for Deep NLP Modeling},
author = {Qiuyuan Huang and Paul Smolensky and Xiaodong He and Li Deng and Dapeng Wu},
journal= {arXiv preprint arXiv:1709.09118},
year = {2017}
}