用于阅读理解任务的密集连接注意力传播
计算与语言
2019-04-03 v2 人工智能
信息检索
神经与进化计算
摘要
我们提出 DecaProp（密集连接注意力传播），一种用于阅读理解（RC）的新型密集连接神经架构。我们的模型有两个显著特点。首先，模型将网络中所有成对层进行密集连接，跨所有层次建模文章与查询间的关系。其次，网络中的密集连接器通过注意力学习，而非标准残差跳跃连接。为此，我们提出新颖的双向注意力连接器（BAC），以高效构建全网连接。我们在四个具挑战性的 RC 基准上进行了充分实验。所提方法在全部四个基准上取得 SOTA 结果，以绝对 F1 分数计超越现有基线达 。
引用
@article{arxiv.1811.04210,
title = {Densely Connected Attention Propagation for Reading Comprehension},
author = {Yi Tay and Luu Anh Tuan and Siu Cheung Hui and Jian Su},
journal= {arXiv preprint arXiv:1811.04210},
year = {2019}
}
备注
NIPS 2018