AVA：一种面向问答系统的自动评估方法
计算与语言
2021-08-17 v1 人工智能
信息检索
机器学习
摘要
我们介绍AVA，一种用于问答的自动评估方法，其在给定一组关联黄金标准答案的问题时，可估计系统准确率。AVA使用基于Transformer的语言模型来编码问题、答案和参考文本。这能有效度量参考与自动答案之间的相似性，并偏向问题语义。为设计、训练和测试AVA，我们在公开和工业基准上构建了多个大型训练、开发和测试集。我们的创新方案在预测单答案人类判断上取得高达74.7%的F1分数。此外，AVA可用于评估整体系统准确率，其RMSE根据多个参考的可用性在0.02至0.09之间。
引用
@article{arxiv.2005.00705,
title = {AVA: an Automatic eValuation Approach to Question Answering Systems},
author = {Thuy Vu and Alessandro Moschitti},
journal= {arXiv preprint arXiv:2005.00705},
year = {2021}
}