AGent：一种自动生成不可回答问题的新流程
计算与语言
2023-09-12 v1 人工智能
摘要
大规模高质量数据集与高性能模型的发展推动了抽取式问答（EQA）领域的显著进步。这一进展引发了人们对EQA领域中不可回答问题的广泛兴趣。用不可回答问题训练EQA模型可帮助它们避免为缺乏有效回答的查询抽取误导或错误的答案。然而，人工标注不可回答问题劳动密集。为此，我们提出AGent，一种通过将问题重新匹配到缺乏正确回答所需信息的上下文来自动创建新不可回答问题的新流程。在本文中，我们通过在SQuAD和HotpotQA的可回答问题基础上创建两组不可回答问题，展示了该AGent流程的实用性。这些创建的问题集表现出低错误率。此外，在这些问题上微调的模型在多个EQA基准上表现出与在SQuAD 2.0数据集上微调的模型相当的性能。
引用
@article{arxiv.2309.05103,
title = {AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions},
author = {Son Quoc Tran and Gia-Huy Do and Phong Nguyen-Thuan Do and Matt Kretchmar and Xinya Du},
journal= {arXiv preprint arXiv:2309.05103},
year = {2023}
}
备注
16 pages, 10 tables, 3 figures