用于文本理解的选通注意力阅读器
计算与语言
2017-04-25 v3 机器学习
摘要
本文研究文档上的完形填空式问题回答任务。我们的模型——选通注意力（GA）阅读器，将多跳架构与一种新颖的注意力机制相结合，该机制基于查询嵌入与循环神经网络文档阅读器中间状态之间的乘法交互。这使阅读器能够为文档中的词元构建查询特定的表示，以实现准确的答案选择。GA 阅读器在该任务的三个基准数据集——CNN & Daily Mail 新闻故事和 Who Did What 数据集——上取得了当前最优结果。乘法交互的有效性通过消融研究以及与实现选通注意力的其他组合算子进行比较得到了证明。代码可在 https://github.com/bdhingra/ga-reader 获取。
引用
@article{arxiv.1606.01549,
title = {Gated-Attention Readers for Text Comprehension},
author = {Bhuwan Dhingra and Hanxiao Liu and Zhilin Yang and William W. Cohen and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1606.01549},
year = {2017}
}
备注
Accepted at ACL 2017