用于答案选择的门控分组自注意力
计算与语言
2019-05-28 v1 信息检索
摘要
答案选择（答案排序）是多种问答（QA）应用的关键步骤之一，深度模型已在此取得最先进的性能。在这些深度模型中，基于循环神经网络（RNN）的模型最为流行，通常比基于卷积神经网络（CNN）的模型性能更好。然而，基于 RNN 的模型难以捕捉问题与答案句子中词之间的长程依赖信息。在本文中，我们提出一种称为门控分组自注意力（GGSA）的新深度模型用于答案选择。GGSA 受全局自注意力的启发，后者最初为机器翻译提出，尚未在答案选择中被探索。GGSA 解决了全局自注意力中局部与全局信息难以区分的问题。此外，还提出了问题与答案之间的交互机制，通过残差结构增强 GGSA。在两个流行 QA 数据集上的实验结果表明，GGSA 优于现有答案选择模型，取得最先进性能。而且，在答案选择任务上 GGSA 比全局自注意力精度更高，且计算开销更低。
引用
@article{arxiv.1905.10720,
title = {Gated Group Self-Attention for Answer Selection},
author = {Dong Xu and Jianhui Ji and Haikuan Huang and Hongbo Deng and Wu-Jun Li},
journal= {arXiv preprint arXiv:1905.10720},
year = {2019}
}