利用反馈加权学习在部署后改进对话问答系统
计算与语言
2020-11-03 v1
摘要
对话系统与用户的交互为其在部署后改进提供了令人振奋的机遇,但关于其可行性的证据甚少。在大多数应用中,用户无法向系统提供正确答案,但能够提供二元(正确、错误)反馈。本文中,我们提出基于重要性采样的反馈加权学习,利用二元用户反馈来改进初始有监督系统。我们在文档分类(用于开发)以及QuAC和DoQA等对话问答数据集上进行了模拟实验,其中二元用户反馈由黄金标注推导得出。结果表明,我们的方法能够改进初始有监督系统,在域内实验(QuAC)中接近可访问相同标注样本的完全有监督系统,甚至在域外实验(DoQA)中与之持平。我们的工作开启了利用与真实用户交互并在部署后改进对话系统的前景。
引用
@article{arxiv.2011.00615,
title = {Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning},
author = {Jon Ander Campos and Kyunghyun Cho and Arantxa Otegi and Aitor Soroa and Gorka Azkune and Eneko Agirre},
journal= {arXiv preprint arXiv:2011.00615},
year = {2020}
}
备注
Accepted at COLING 2020. 11 pages, 5 figures