自适应分层句子模型
计算与语言
2015-04-28 v2 机器学习
神经与进化计算
摘要
准确建模句子在不同阶段（如词-短语-句子）的能力在自然语言处理中起着核心作用。作为实现这一目标的一种努力，我们提出了一种自适应分层句子模型（AdaSent）。AdaSent通过相邻片段的递归门控局部组合，有效地从词到短语再到句子形成层次化表示。我们设计了一种竞争机制（通过门控网络）以允许同一句子的表示参与到特定学习任务（如分类）中，从而有效缓解其他递归模型中持续存在的梯度消失问题。定性和定量分析均表明，AdaSent能够在训练过程中自动形成并选择适合当前任务的表示，在5个基准数据集上取得了优于对比模型的分类性能。
引用
@article{arxiv.1504.05070,
title = {Self-Adaptive Hierarchical Sentence Model},
author = {Han Zhao and Zhengdong Lu and Pascal Poupart},
journal= {arXiv preprint arXiv:1504.05070},
year = {2015}
}
备注
8 pages, 7 figures, accepted as a full paper at IJCAI 2015