利用自动问答评估器的监督学习答案生成
计算与语言
2023-05-25 v1 机器学习
摘要
近期研究表明，句子级抽取式QA（即基于答案句选择（AS2））的性能被生成式QA（GenQA）模型超越，后者利用AS2模型排序的前k个答案句（以检索增强生成风格）生成答案。本文中，我们提出一种利用自动QA评估模型（GAVA）监督的GenQA新训练范式。具体地，我们提出三种将这些QA评估模型的知识迁移至GenQA模型的策略：（i）用GenQA模型生成且由GAVA标注的答案扩充训练数据（静态地，在训练前；或（ii）动态地，在每轮训练周期）；以及（iii）在GenQA模型学习过程中使用GAVA分数对生成器损失加权。我们在两个学术与一个工业数据集上评估所提方法，相较先前最优水平在回答准确率上获得显著提升。
引用
@article{arxiv.2305.15344,
title = {Learning Answer Generation using Supervision from Automatic Question Answering Evaluators},
author = {Matteo Gabburo and Siddhant Garg and Rik Koncel-Kedziorski and Alessandro Moschitti},
journal= {arXiv preprint arXiv:2305.15344},
year = {2023}
}
备注
Accepted at ACL 2023