标签依赖感知循环神经网络
计算与语言
2017-06-07 v1
摘要
在过去几年中，循环神经网络（RNN）已在多个 NLP 任务中证明了其有效性。尽管取得了巨大成功，它们对\emph{序列标注}的建模能力仍然有限。这促使研究转向将 RNN 与在该领域已被证明有效的模型（如 CRF）相结合的解决方案。在本工作中，我们提出了一种远为简单但非常有效的解决方案：它是简单 Jordan RNN 的一种演进，其中标签被重新注入作为输入到网络中，并转换为嵌入，其方式与单词相同。我们在两个著名的口语理解（SLU）任务上将这种 RNN 变体与所有其他 RNN 模型（Elman 和 Jordan RNN、LSTM 和 GRU）进行了比较。得益于标签嵌入及其在隐藏层的组合，所提出的变体比 Elman 和 Jordan RNN 使用了更多参数，但远少于 LSTM 和 GRU，它不仅比其他 RNN 更有效，而且优于复杂的 CRF 模型。
引用
@article{arxiv.1706.01740,
title = {Label-Dependencies Aware Recurrent Neural Networks},
author = {Yoann Dupont and Marco Dinarelli and Isabelle Tellier},
journal= {arXiv preprint arXiv:1706.01740},
year = {2017}
}
备注
22 pages, 3 figures. Accepted at CICling 2017 conference. Best Verifiability, Reproducibility, and Working Description award