基于校准置信度与不确定性度量的答案筛选式真实对话问答
计算与语言
2023-02-13 v1 人工智能
信息检索
摘要
对话问答（ConvQA）模型旨在利用相关段落及对话中多次出现的先前问答对来回答问题。为将此类模型应用于真实场景，一些已有工作使用预测答案而非不可得的真实答案作为推理的对话历史。然而，由于这些模型通常预测错误答案，不加筛选地使用所有预测会显著损害模型性能。为解决该问题，我们提出基于ConvQA模型估计的置信度与不确定性来滤除对话历史中的不准确答案，且不对架构做任何改动。此外，为使置信度与不确定性值更可靠，我们提出进一步对其校准，从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型——基于答案筛选的真实对话问答（AS-ConvQA），结果表明我们的模型显著优于相关基线。代码见：https://github.com/starsuzi/AS-ConvQA。
引用
@article{arxiv.2302.05137,
title = {Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement},
author = {Soyeong Jeong and Jinheon Baek and Sung Ju Hwang and Jong C. Park},
journal= {arXiv preprint arXiv:2302.05137},
year = {2023}
}
备注
EACL 2023