基于选项ID的消除法用于多项选择题
计算与语言
2025-05-20 v3 人工智能
机器学习
摘要
多项选择题（MCQs）是评估大型语言模型（LLMs）的一项流行且重要的任务。基于人们在回答MCQs时常用的策略，消除法（PoE）已被提出作为一种有效的问题解决方法。现有的PoE方法通常要么让LLMs直接识别错误选项，要么对选项进行评分并用[MASK]替换低分选项。然而，这两种方法都存在不适用或性能次优的问题。为了解决这些问题，本文提出了一种新颖的基于选项ID的PoE（PoE_ID）。PoE_ID关键地引入了一种去偏技术来抵消LLMs的token偏差，增强了相对于朴素ID消除法的鲁棒性。它包含两种策略：PoE_ID^log，消除其ID的对数概率低于平均阈值的选项；以及PoE_ID^seq，迭代移除ID概率最低的选项。我们在4个不同数据集上使用6种不同的LLMs进行了大量实验。结果表明，PoE_ID，尤其是PoE_ID^log，显著提高了零样本和少样本MCQs的性能，特别是在选项较多的数据集中。我们的分析表明，PoE_ID^log增强了LLMs选择正确选项的信心，并且选项消除策略优于依赖[MASK]替换的方法。我们进一步研究了LLMs在直接识别错误选项方面的局限性，这些局限性源于其固有的缺陷。
引用
@article{arxiv.2501.15175,
title = {Option-ID Based Elimination For Multiple Choice Questions},
author = {Zhenhao Zhu and Bulou Liu and Qingyao Ai and Yiqun Liu},
journal= {arXiv preprint arXiv:2501.15175},
year = {2025}
}