一种用于比较判断的贝叶斯主动学习方法

测评是教育的关键环节。传统打分存在不一致性和无意识偏差的问题，给测评者带来高认知负荷。解决这些问题的一种方法是比较判断（CJ）。在 CJ 中，向测评者展示一对条目并要求其选择较优者。经过一系列比较后，使用排序模型（例如基于结果的 BTM）导出排名。尽管 CJ 被视为一种可靠的打分方法，但存在关于透明性的担忧，且生成可靠秩估计所需的成对比较理想数量未知。此外，已有尝试生成以信息性方式选择接下来应比较的配对的方法，但已知一些现有方法在结果中产生了自身偏差，夸大了所用的可靠性度量。因此，通常采用随机选择方法。我们提出一种新颖的贝叶斯 CJ 方法（BCJ）以确定被比较条目的排名，并配合一种利用主动学习（AL）选择呈现给测评者配对的新型方式，从而解决传统 CJ 的关键缺陷。进而，我们展示了该方法如何通过向用户提供其决策过程的洞察来实现透明，同时更为高效。实验结果表明，所提 BCJ 结合熵驱动的 AL 配对选择方法优于其他替代方案。我们还发现比较次数越多，BCJ 越准确，这解决了当前方法在比较过多时模型退化的难题。由于我们的方法能生成条目的完整预测秩分布，我们也展示了如何将其用于由测评者引导的预测等级制定。