注意力池化网络
计算与语言
2016-02-12 v1 机器学习
摘要
在这项工作中，我们提出注意力池化（AP），一种用于判别模型训练的双向注意力机制。在使用神经网络进行成对排序或分类的背景下，AP使池化层能够感知当前的输入对，使得来自两个输入项的信息能够直接影响彼此表示的计算。连同这种成对输入的表示，AP联合学习对该输入对投影片段（例如三元语法）的相似度度量，并随后推导出每个输入对应的注意力向量以引导池化。我们的双向注意力机制是一个独立于底层表示学习的通用框架，并在我们的研究中应用于卷积神经网络（CNNs）和循环神经网络（RNNs）。来自问答/答案选择的三个差异很大的基准任务的实证结果表明，我们提出的模型优于多种强基线，并在所有基准中取得了最先进的性能。
引用
@article{arxiv.1602.03609,
title = {Attentive Pooling Networks},
author = {Cicero dos Santos and Ming Tan and Bing Xiang and Bowen Zhou},
journal= {arXiv preprint arXiv:1602.03609},
year = {2016}
}
备注
10 pages