一种将多轮上下文与 BERT 结合的简洁而有效的会话机器理解方法
计算与语言
2019-05-31 v1
摘要
会话机器理解（CMC）需要理解多轮对话的上下文。使用预训练语言模型 BERT 在单轮机器理解上已取得成功，但由于 BERT 对输入序列的数量与长度有限制，以 BERT 建模多轮问答尚未确立。本文中，我们提出一种简洁而有效的基于 BERT 的 CMC 方法。我们的方法使用 BERT 以多轮上下文中每个问题与每个答案为条件独立编码段落。然后，该方法基于用 BERT 编码的段落表示预测答案。在代表性 CMC 数据集 QuAC 与 CoQA 上的实验表明，我们的方法优于近期发表的方法（QuAC 上 +0.8 F1，CoQA 上 +2.1 F1）。此外，我们详细分析了对话历史的数量与类型对 CMC 准确率的影响，发现金答案历史（实际对话中可能不提供）对两个数据集上的模型性能贡献最大。
引用
@article{arxiv.1905.12848,
title = {A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension},
author = {Yasuhito Ohsugi and Itsumi Saito and Kyosuke Nishida and Hisako Asano and Junji Tomita},
journal= {arXiv preprint arXiv:1905.12848},
year = {2019}
}
备注
Accepted at ACL 2019 Workshop on NLP for Conversational AI (NLP4ConvAI)