通过机器学习重排序候选答案逐步改进问答系统
机器学习
2021-06-17 v1 计算与语言
信息检索
机器学习
摘要
我们实现了一种对最先进问答（QA）系统前 10 结果进行重排序的方法。我们的重排序方法旨在给定用户问题与前 10 候选答案时改进答案选择。我们聚焦于改进已部署且不允许重训练或重训练代价高昂的 QA 系统。我们的重排序方法以查询、答案和初始系统置信度为输入，利用基于 n-gram 的特征学习相似度函数。我们的贡献为：（1）我们从 T-Mobile Austria 客户关怀领域的 877 个答案出发生成 QA 训练语料；（2）我们实现了使用神经句子嵌入的最先进 QA 流水线，其将查询与答案索引编码于同一空间；（3）我们使用单独提供的测试集评估 QA 流水线与我们的重排序方法。该测试集可视为系统部署后可用，例如基于用户反馈。我们的结果表明，就 top-n 准确率与平均倒数排名而言，系统性能受益于使用梯度提升回归树的重排序。平均而言，平均倒数排名提升了 9.15%。
引用
@article{arxiv.1908.10149,
title = {Incremental Improvement of a Question Answering System by Re-ranking Answer Candidates using Machine Learning},
author = {Michael Barz and Daniel Sonntag},
journal= {arXiv preprint arXiv:1908.10149},
year = {2021}
}
备注
Accepted for oral presentation at tenth International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2019