快捷序列标注
计算与语言
2017-01-04 v1
摘要
深度堆叠 RNN 通常难以训练。在不同层之间添加快捷连接是缓解堆叠网络训练的常用方法。然而，额外的快捷连接使循环步骤变得更加复杂。为了简化堆叠架构，我们提出了一种称为快捷块的框架，它是门控机制与快捷连接的结合，同时舍弃了 LSTM 单元中的自连接部分。我们进行了大量实证实验，表明这种设计使训练变得容易并提高了泛化能力。我们提出了各种快捷块拓扑结构和组合以探索其有效性。基于该架构，我们在 CCGbank 超标签数据集上比 state-of-the-art 获得了 6% 的相对提升。我们在词性标注任务上也取得了可比的结果。
引用
@article{arxiv.1701.00576,
title = {Shortcut Sequence Tagging},
author = {Huijia Wu and Jiajun Zhang and Chengqing Zong},
journal= {arXiv preprint arXiv:1701.00576},
year = {2017}
}
备注
10 pages. arXiv admin note: text overlap with arXiv:1610.03167