离散问题难度估计中的序数性：引入平衡DRPS与OrderedLogitNN
机器学习
2025-07-04 v2 机器学习
摘要
近年来，使用自然语言处理技术进行问题难度估计（QDE）受到广泛关注。问题难度常以离散层级表示，将其建模为序数回归问题。然而，文献中忽视了序数性质，仍依赖分类或离散回归模型，而缺乏针对序数问题的专用方法。此外，评估指标与建模范式紧密耦合，限制了跨研究的可比性。部分指标未充分考虑难度层级的序数结构，亦未解决类别不平衡问题，导致性能评估偏差。本文通过基准测试离散回归、分类与序数回归三类模型输出，提出平衡离散排序概率得分（balanced DRPS）作为新指标，综合捕捉序数性与类别不平衡。除常用序数回归方法外，本文提出OrderedLogitNN，将经济学中的有序logit模型拓展至神经网络。我们在RACE++和ARC数据集上微调BERT模型，发现OrderedLogitNN在复杂任务中表现显著优越。平衡DRPS为离散问题难度估计提供稳健且公平的评估框架，为后续研究奠定原则性基础。
引用
@article{arxiv.2507.00736,
title = {Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN},
author = {Arthur Thuy and Ekaterina Loginova and Dries F. Benoit},
journal= {arXiv preprint arXiv:2507.00736},
year = {2025}
}
备注
Published in the EvalLAC'25 workshop at AIED 2025