FusionNet：基于全感知注意力的融合及其在机器阅读理解中的应用
计算与语言
2018-02-06 v2 人工智能
摘要
本文提出了一种称为 FusionNet 的新型神经结构，从三个角度扩展了现有的注意力方法。首先，它提出了“词的历史”这一新概念，用以刻画从最低层词级嵌入到最高层语义级表示的注意力信息。其次，它引入了一种改进的注意力打分函数，能更好地利用“词的历史”概念。第三，它提出了一种全感知多层次注意力机制，以捕获一个文本（如问题）中的完整信息，并在其对应文本（如上下文或段落）中逐层加以利用。我们将 FusionNet 应用于 Stanford Question Answering Dataset (SQuAD)，在撰写本文时（2017年10月4日）其单模型和集成模型均位居官方 SQuAD 排行榜首位。同时，我们用两个对抗性 SQuAD 数据集验证了 FusionNet 的泛化能力，并在两个数据集上均刷新了最优结果：在 AddSent 上，FusionNet 将最佳 F1 指标从 46.6% 提升至 51.4%；在 AddOneSent 上，FusionNet 将最佳 F1 指标从 56.0% 提升至 60.7%。
引用
@article{arxiv.1711.07341,
title = {FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension},
author = {Hsin-Yuan Huang and Chenguang Zhu and Yelong Shen and Weizhu Chen},
journal= {arXiv preprint arXiv:1711.07341},
year = {2018}
}
备注
Published in Sixth International Conference on Learning Representations (ICLR), 2018