上下文学习需要多少演示样本？
人工智能
2023-04-26 v3
摘要
大语言模型（LLM）能够通过上下文学习（ICL）在提供少量输入-输出演示（demos）时进行复杂推理，而当给出演示的中间推理步骤（“思维链（CoT）”）时能力更强。在 ICL 中是否有必要使用多个演示？在本文中，我们研究了在 ~\cite{wei2022chain} 的任务上为每个测试查询使用更少演示的 ICL。令人惊讶的是，当仅使用一个随机选择的演示时，我们未观察到显著的性能下降。为研究这一现象，我们将每个测试查询的演示分为导致正确答案的“正确演示”和导致错误答案的“错误演示”。我们的分析揭示了那些被广泛研究的数据集中存在一种固有偏置：大多数演示对多数测试查询是正确的，这解释了使用一个随机演示时良好的表现。此外，仅使用一个正确演示的 ICL（含和不含 CoT）显著优于大多数先前工作采用的全演示 ICL，表明 LLM 在为输入查询寻找正确演示方面的薄弱能力，而这难以在偏置数据集上评估。进一步，我们观察到多演示 ICL 的一种反直觉行为，即当其给定更多正确（错误）演示时准确率下降（提升）。这意味着 ICL 容易被演示间的干扰及其伪相关所误导。我们的分析凸显了 LLM 训练、ICL 和基准设计中需解决的若干基本挑战。
引用
@article{arxiv.2303.08119,
title = {How Many Demonstrations Do You Need for In-context Learning?},
author = {Jiuhai Chen and Lichang Chen and Chen Zhu and Tianyi Zhou},
journal= {arXiv preprint arXiv:2303.08119},
year = {2023}
}