QASnowball:一种用于高质量问答数据生成的迭代自助框架
计算与语言
2023-09-21 v2 人工智能
摘要
近年来,问答(QA)取得了成功,尤其是其作为基础范式处理各类NLP任务的潜力。然而,获取充足数据以构建高效且稳定的QA系统仍是一个开放问题。针对该问题,我们引入一种用于QA数据增强的迭代自助框架(命名为QASnowball),其可基于有监督示例的种子集迭代生成大规模高质量QA数据。具体而言,QASnowball由三个模块组成:从非标注文档抽取核心短语作为候选答案的答案抽取器、基于文档与候选答案生成问题的问句生成器,以及过滤高质量QA数据的QA数据过滤器。此外,QASnowball可通过在不同迭代中重播种子集以微调自身实现自我增强,从而持续提升生成质量。我们在高资源英语场景与中等资源中文场景中开展实验,结果表明QASnowball生成的数据可助力QA模型:(1)在生成数据上训练模型可达到与使用有监督数据相当的效果;(2)在生成数据上预训练并在有监督数据上微调可取得更优性能。我们的代码与生成数据将公开以推进后续工作。
引用
@article{arxiv.2309.10326,
title = {QASnowball: An Iterative Bootstrapping Framework for High-Quality Question-Answering Data Generation},
author = {Kunlun Zhu and Shihao Liang and Xu Han and Zhi Zheng and Guoyang Zeng and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2309.10326},
year = {2023}
}