DRAGNN：一种用于动态连接神经网络的基于转移的框架
计算与语言
2017-03-14 v1
摘要
在本文中，我们提出了一种紧凑、模块化的框架，用于构建新颖的循环神经网络架构。我们的基本模块是一种新的通用单元，即基于转移的循环单元（Transition Based Recurrent Unit, TBRU）。除了隐藏层激活外，TBRU 还具有离散状态动力学，允许网络连接作为中间激活的函数动态构建。通过连接多个 TBRU，我们可以扩展和组合常用的架构，如序列到序列（sequence-to-sequence）模型、注意力机制（attention mechanisms）和递归树结构模型。TBRU 还可以同时作为下游任务的编码器和其自身任务的解码器，从而实现更准确的多任务学习。我们将这种方法称为动态循环非图神经网络（Dynamic Recurrent Acyclic Graphical Neural Networks, DRAGNN）。我们表明，在句法依存解析任务中，DRAGNN 的准确性和效率显著高于带注意力机制的 seq2seq 模型，并在抽取式摘要任务中产生了更准确的多任务学习效果。
引用
@article{arxiv.1703.04474,
title = {DRAGNN: A Transition-based Framework for Dynamically Connected Neural Networks},
author = {Lingpeng Kong and Chris Alberti and Daniel Andor and Ivan Bogatyy and David Weiss},
journal= {arXiv preprint arXiv:1703.04474},
year = {2017}
}
备注
10 pages; Submitted for review to ACL2017