通过检索增强预训练和知识图谱集成提升多选题干扰项生成
计算与语言
2024-06-21 v1
摘要
本文针对多选题的干扰项生成（DG）任务进行研究。我们提出了两个关键设计：其一，提出了检索增强预训练（retrieval augmented pretraining）方法，通过细化语言模型的预训练过程，使其更贴近DG的下游任务；其二，探索将知识图谱集成以提升DG性能。通过基准数据集上的实验，我们展示了模型显著超越了当前最先进的结果。我们最佳模型在MCQ数据集上的F1@3分数从14.80提升至16.47，在Sciq数据集上从15.92提升至16.50。
引用
@article{arxiv.2406.13578,
title = {Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration},
author = {Han-Cheng Yu and Yu-An Shih and Kin-Man Law and Kai-Yu Hsieh and Yu-Chen Cheng and Hsin-Chih Ho and Zih-An Lin and Wen-Chuan Hsu and Yao-Chung Fan},
journal= {arXiv preprint arXiv:2406.13578},
year = {2024}
}
备注
Findings at ACL 2024