利用大语言模型进行多选问答
计算与语言
2023-03-20 v3 机器学习
摘要
尽管像 GPT-3 这样的大语言模型（LLM）在零样本、单样本和少样本设置下的多选问答（MCQA）任务中取得了令人印象深刻的成果，但它们通常落后于 MCQA 的最先进水平（SOTA）。MCQA 任务传统上以完形填空任务的形式呈现给 LLM：对 LLM 以一个问题（不含对应选项）为条件，其所选选项是经归一化（如长度等）后赋予最高概率的那个。一种更自然的提示方法是同时将问题和选项呈现给 LLM，并让其输出与所选答案选项相关的符号（如“A”）。这种方法允许模型显式比较选项、降低计算成本，并减轻分词方案与选项表示对答案选择的影响。要使该自然方法有效，其所用的 LLM 必须能够将选项与代表它们的符号相关联。LLM 需要具备我们称之为多选符号绑定（MCSB）的能力。这一能力因模型而异。我们表明，具有高 MCSB 能力的模型在自然方法下比传统方法表现好得多，横跨 20 个多样化数据集，并大幅缩小了与 SOTA 的差距，这表明 LLM 的 MCQA 能力此前被低估了。
引用
@article{arxiv.2210.12353,
title = {Leveraging Large Language Models for Multiple Choice Question Answering},
author = {Joshua Robinson and Christopher Michael Rytting and David Wingate},
journal= {arXiv preprint arXiv:2210.12353},
year = {2023}
}
备注
Accepted for ICLR 2023