序列标注中跳跃连接的实证探索
计算与语言
2016-10-12 v1
摘要
本文实证探索了堆叠双向LSTM中各类跳跃连接对序列标注的影响。我们研究了三种连接到LSTM单元的跳跃连接：(a) 连接到门的跳跃连接，(b) 连接到内部状态的跳跃连接，以及(c) 连接到单元输出的跳跃连接。我们通过全面的实验表明，连接到单元输出的跳跃连接优于其余两种。此外，我们观察到使用门控恒等函数作为跳跃映射效果相当好。基于这种新颖的跳跃连接，我们成功训练了深度堆叠双向LSTM模型，并在CCG超级标注上取得了最先进的结果，在词性标注上取得了可比的结果。
引用
@article{arxiv.1610.03167,
title = {An Empirical Exploration of Skip Connections for Sequential Tagging},
author = {Huijia Wu and Jiajun Zhang and Chengqing Zong},
journal= {arXiv preprint arXiv:1610.03167},
year = {2016}
}
备注
Accepted at COLING 2016