面向对话式问答的注意力历史选择
信息检索
2019-08-27 v1
摘要
对话式问答（ConvQA）是对话式搜索的一种简化但具体的设定。其主要挑战之一是利用对话历史来理解并回答当前问题。在本工作中，我们提出了一种涉及三个方面的 ConvQA 新方案。首先，我们提出一种位置历史答案嵌入方法，使用 BERT 以自然的方式对带有位置信息的对话历史进行编码。BERT 是一种强大的文本表示技术。其次，我们设计了一种历史注意力机制（HAM）以对对话历史进行“软选择”。该方法根据历史轮次对回答当前问题的帮助程度赋予不同权重。第三，除处理对话历史外，我们利用多任务学习（MTL）借助统一模型架构在进行答案预测的同时完成另一项关键对话任务（对话行为预测）。MTL 能够学习更具表达力与通用性的表示以提升 ConvQA 性能。我们在大规模 ConvQA 数据集 QuAC 上通过广泛的实验评估证明了模型的有效性。我们展示了位置信息在对话历史建模中的重要作用。我们还对历史注意力进行了可视化，并为对话历史理解提供了新见解。
引用
@article{arxiv.1908.09456,
title = {Attentive History Selection for Conversational Question Answering},
author = {Chen Qu and Liu Yang and Minghui Qiu and Yongfeng Zhang and Cen Chen and W. Bruce Croft and Mohit Iyyer},
journal= {arXiv preprint arXiv:1908.09456},
year = {2019}
}
备注
Accepted to CIKM 2019