利用交互反馈提升问答系统部署后的准确性与可解释性
计算与语言
2023-03-20 v1
摘要
大多数问答研究聚焦于部署前阶段，即构建用于部署的准确模型。在本文中，我们提出一个问题：能否基于用户交互在部署后进一步提升 QA 系统？我们关注两类改进：1) 提升 QA 系统自身的性能；2) 赋予模型解释答案正确与否的能力。我们收集了一个基于检索的 QA 数据集 FeedbackQA，其中包含来自用户的交互反馈。我们通过将基础 QA 系统部署给众包工作者来收集该数据集，后者与系统交互并就其答案质量提供反馈。反馈既包含结构化评分，也包含非结构化自然语言解释。我们利用该反馈数据训练了一个神经模型，可生成解释并对答案候选重新打分。我们表明，反馈数据不仅提升了已部署 QA 系统的准确性，也提升了其他更强的未部署系统。所生成的解释还帮助用户就答案正确性作出知情判断。项目页：https://mcgill-nlp.github.io/feedbackqa/
引用
@article{arxiv.2204.03025,
title = {Using Interactive Feedback to Improve the Accuracy and Explainability of Question Answering Systems Post-Deployment},
author = {Zichao Li and Prakhar Sharma and Xing Han Lu and Jackie C. K. Cheung and Siva Reddy},
journal= {arXiv preprint arXiv:2204.03025},
year = {2023}
}
备注
ACL 2022 Findings