答案后处理:通过后处理方法提高多跨度问答性能
计算与语言
2024-10-23 v1 人工智能
摘要
多跨度问答 (Multi-Span Question Answering, MSQA) 需要模型从给定上下文中提取一个或多个答案跨度来回答问题。先前的工作主要 focuses on 通过设计特定方法或应用启发式策略来鼓励模型预测更多正确的预测。然而,这些模型是在金标准答案上训练的,不考虑错误预测。在统计分析中,我们注意到具有更强能力的模型与其他模型相比,预测的错误预测数量并不更少。本文提出了 Answering-Classifying-Correcting (ACC) 框架,该框架采用后处理策略来处理错误预测。具体而言,ACC 框架首先引入一个分类器将预测分为三类并排除“错误预测”,然后引入一个纠正器来修改“部分正确的预测”。在几个 MSQA 数据集上的实验表明,ACC 框架显著提高了 Exact Match (EM) 分数,进一步的分析表明 ACC 框架有效地减少了错误预测的数量,从而提高了预测质量。
引用
@article{arxiv.2410.16788,
title = {Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method},
author = {Jiayi Lin and Chenyang Zhang and Haibo Tong and Dongyu Zhang and Qingqing Hong and Bingxuan Hou and Junli Wang},
journal= {arXiv preprint arXiv:2410.16788},
year = {2024}
}
备注
Accepted by EMNLP 2024 Findings