利用注意力递归树学习句子嵌入
计算与语言
2018-11-16 v2
摘要
句子嵌入是大多数基于深度学习的自然语言处理任务的有效特征表示。一种主流方法是使用递归隐树结构网络，以任务特定的结构来嵌入句子。然而，现有模型在树结构中没有显式机制来强调任务信息丰富的词。为此，我们提出了一种注意力递归树模型（AR-Tree），其中词根据其任务重要性被动态定位。具体而言，我们以所提出的重要优先策略为句子构建隐树，并将更具注意力的词放置在更靠近根节点的位置；因此，AR-Tree 在句子嵌入的自底向上组合过程中能够内在地强调重要词。我们提出了一种端到端的强化训练策略用于 AR-Tree，在三个句子理解任务上被证明持续优于或至少可与最先进的句子嵌入方法相媲美。
引用
@article{arxiv.1811.02338,
title = {Learning to Embed Sentences Using Attentive Recursive Trees},
author = {Jiaxin Shi and Lei Hou and Juanzi Li and Zhiyuan Liu and Hanwang Zhang},
journal= {arXiv preprint arXiv:1811.02338},
year = {2018}
}
备注
AAAI Conference of Artificial Intelligence, 2019