增强符号绑定使大型语言模型成为可靠的多项选择题选择器
计算与语言
2024-06-07 v2
摘要
多项选择题（MCQs）是大型语言模型（LLMs）研究中的一个关键领域。先前的工作研究了少样本场景下MCQ中的选择偏差问题，其中LLM的性能可能受到答案选项呈现方式的影响，而监督微调（SFT）期间的选择偏差尚未被探索。在本文中，我们揭示了选择偏差在SFT阶段持续存在，这主要是由于LLM的多项选择符号绑定（MCSB）能力不足。这一局限性意味着模型难以有效地将答案选项与其对应的符号（例如A/B/C/D）关联起来。为了增强模型的MCSB能力，我们首先将选项内容纳入损失函数，然后调整选项符号和内容的权重，引导模型理解当前符号的选项内容。基于此，我们引入了一种高效的MCQ SFT算法，称为逐点智能反馈（PIF）。PIF通过将不正确的选项内容与所有候选符号随机组合来构建负样本，并提出一种逐点损失来将这些负样本的反馈提供给LLM。我们的实验结果表明，PIF通过提高模型的MCSB能力显著减少了模型的选择偏差。值得注意的是，PIF在MCQ的准确性方面表现出显著的提升。
引用
@article{arxiv.2406.01026,
title = {Strengthened Symbol Binding Makes Large Language Models Reliable Multiple-Choice Selectors},
author = {Mengge Xue and Zhenyu Hu and Liqun Liu and Kuo Liao and Shuang Li and Honglin Han and Meng Zhao and Chengguo Yin},
journal= {arXiv preprint arXiv:2406.01026},
year = {2024}
}
备注
Accept at ACL2024 Main