面向机器理解的多层注意力相位导引器
计算与语言
2017-11-02 v2
摘要
注意力模型已被深入研究以改进诸如机器理解等 NLP 任务，包括问题感知的篇章注意力模型与自匹配注意力模型。我们的研究从两个有意义的方面为注意力模型提出了相位导引器（PhaseCond）。首先，PhaseCond 作为一种多层注意力模型的架构，由多个相位组成，每个相位实现一组产生篇章表示的注意力层以及一组调节信息流的内部或外部融合层。其次，我们通过从不同视角同时编码多个问题层与篇章嵌入层，扩展并改进了 PhaseCond 的点积注意力函数。我们在 SQuAD 数据集上展示了我们所提出的模型 PhaseCond 的有效性，表明我们的模型显著优于最先进的单层与多层注意力模型。我们通过详细的定性分析与展示多层注意力模型中动态变化的可视化示例，以新的发现深化了我们的结果。
引用
@article{arxiv.1710.10504,
title = {Phase Conductor on Multi-layered Attentions for Machine Comprehension},
author = {Rui Liu and Wei Wei and Weiguang Mao and Maria Chikina},
journal= {arXiv preprint arXiv:1710.10504},
year = {2017}
}