用于检索式问答与回复预测的多重投射注意力网络
计算与语言
2018-06-05 v1 人工智能
信息检索
摘要
注意力通常用于选择用于预测的信息性子短语。本文研究将注意力作为一种特征增强形式（即 casted attention）的新颖用法。我们提出多重投射注意力网络（MCAN），一种用于对话建模与问答领域多种排序任务的新注意力机制与通用模型架构。我们的方法执行一系列软注意力操作，每次向内部词嵌入上投射一个标量特征。其核心思想是为后续编码器层提供实值提示（特征），旨在改进表示学习过程。该设计具有若干优势，例如允许任意数量的注意力机制被投射，使得多种注意力类型（如协同注意力、内部注意力）与注意力变体（如对齐池化、最大池化、平均池化）可同时执行。这不仅消除了调整协同注意力层性质的高昂需求，还为实践者提供了更高程度的可解释性。通过在四个知名基准数据集上的大量实验，我们表明 MCAN 达到了最先进的性能。在 Ubuntu Dialogue Corpus 上，MCAN 以 的优势超越现有最先进模型。MCAN 还在被广泛研究的 TrecQA 数据集上取得了迄今最佳的性能得分。
引用
@article{arxiv.1806.00778,
title = {Multi-Cast Attention Networks for Retrieval-based Question Answering and Response Prediction},
author = {Yi Tay and Luu Anh Tuan and Siu Cheung Hui},
journal= {arXiv preprint arXiv:1806.00778},
year = {2018}
}
备注
Accepted to KDD 2018 (Paper titled only "Multi-Cast Attention Networks" in KDD version)