AGenT Zero：用于技能评估的零样本自动多选题生成
计算机与社会
2020-12-22 v2 人工智能
计算与语言
机器学习
摘要
在虚拟教育与招聘时代，传统基于表现的替代方案（如项目和论文）已变得不太可行且评分资源受限，多选题（MCQs）为技能评估提供了最有前景的途径。MCQs 的自动生成将实现规模化评估创建。自然语言处理的最新进展催生了许多复杂的问题生成方法。然而，少数能在特定领域产生可部署结果的方法需要大量领域特定训练数据，而获取这些数据可能代价高昂。我们的工作通过策略性地强调对问题上下文（相较于任务）的改写，初步探索了高数据获取成本场景下的 MCQ 生成。除了保持问答对之间的语义相似性外，我们称为 AGenT Zero 的流程仅由预训练模型组成且无需微调，将问题生成的数据获取成本降至最低。AGenT Zero 在流畅性与语义相似性上成功优于其他预训练方法。此外，通过一些微小改动，我们的评估流程可推广到更宽泛的问答空间，包括简答题或填空题。
引用
@article{arxiv.2012.01186,
title = {AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments},
author = {Eric Li and Jingyi Su and Hao Sheng and Lawrence Wai},
journal= {arXiv preprint arXiv:2012.01186},
year = {2020}
}
备注
AAAI 2021 Workshop on AI Education/TIPCE 2021