通过混合整数规划生成带约束的C-Test
计算与语言
2024-04-16 v1
摘要
这项工作提出了一种生成C-Test的新方法；C-Test是完形填空测试的一种变体，其中仅将单词的后半部分变为空格。与先前仅考虑改变空格大小或空格位置以获得局部最优解的工作相比，我们提出了一种混合整数规划方法。这使我们能够同时考虑空格大小和位置，从而获得全局最优解，并将最先进的空格难度预测模型直接集成到优化问题中。一项有40名参与者、涵盖四种C-Test生成策略（包括GPT-4）的用户研究表明，我们的方法（MIP）显著优于其中两种基线策略（基于空格位置和基于GPT-4）；并且与第三种策略（基于空格大小）性能相当。我们的分析表明，GPT-4在生成过程中仍然难以满足显式约束，并且MIP生成的C-Test与感知难度相关性最佳。我们以开源许可证发布了我们的代码、模型以及收集到的数据，这些数据包含32个英语C-Test，每个有20个空格（总计3200个单独的空格回答）。
引用
@article{arxiv.2404.08821,
title = {Constrained C-Test Generation via Mixed-Integer Programming},
author = {Ji-Ung Lee and Marc E. Pfetsch and Iryna Gurevych},
journal= {arXiv preprint arXiv:2404.08821},
year = {2024}
}
备注
Github: https://github.com/UKPLab/arxiv2024-constrained-ctest-generation