DISTO：基于负采样方法评估多选题文本干扰项
计算与语言
2023-04-12 v1 人工智能
摘要
多选题（MCQs）是评估阅读理解（RC）的高效且常见方式。每道MCQ都需要一组不正确但足够似真以测试学生知识的干扰项答案。已有干扰项生成（DG）模型被提出，其性能通常用机器翻译（MT）指标评估。然而，MT指标常误判生成干扰项的适用性。我们提出DISTO：首个用于生成干扰项的学习型评估指标。我们验证DISTO显示其分数与人类对干扰项质量评分高度相关。同时，DISTO对最先进DG模型性能的排序与基于MT的指标大不相同，表明MT指标不应被用于干扰项评估。
引用
@article{arxiv.2304.04881,
title = {DISTO: Evaluating Textual Distractors for Multi-Choice Questions using Negative Sampling based Approach},
author = {Bilal Ghanem and Alona Fyshe},
journal= {arXiv preprint arXiv:2304.04881},
year = {2023}
}