更好的干扰项：基于 Transformer 的干扰项生成与多选题过滤
计算与语言
2020-10-20 v1
摘要
对于教育领域而言，能够生成语义正确且教育相关的多选题（MCQs）可能产生重大影响。虽然问题生成本身是一个活跃的研究课题，但生成干扰项（错误的多选选项）受到的关注少得多。这是一个错失的机会，因为该领域仍有很大改进空间。在本工作中，我们使用 RACE 数据集训练一个 GPT-2 语言模型，为给定问题和文本上下文生成三个干扰项。接着，我们训练一个 BERT 语言模型来回答多选题，并将该模型用作过滤器，以仅选择可被回答从而 presumably 合理的问题。为评估我们的工作，我们首先使用文本生成指标，其显示我们的模型优于早先的干扰项生成（DG）工作并达到 SOTA 性能。同时，通过计算问答能力，我们表明更大的基础模型带来更好的性能。此外，我们进行了人工评估研究，其确认了生成问题的质量，但显示 QA 过滤器无统计显著效应。
引用
@article{arxiv.2010.09598,
title = {Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering},
author = {Jeroen Offerijns and Suzan Verberne and Tessa Verhoef},
journal= {arXiv preprint arXiv:2010.09598},
year = {2020}
}