基于迭代示例选择的上下文学习
计算与语言
2024-12-31 v4 人工智能
摘要
受规模进步的推动,大语言模型(LLMs)已通过上下文学习(ICL)展现出较强的少样本学习能力。然而,ICL的性能已被证明对少样本示例的选择高度敏感。选择最合适的示例作为上下文仍是一项持续挑战和开放问题。现有文献强调了选择多样化或与测试样本语义相似示例的重要性,却忽略了最优选择维度(即多样性或相似性)是任务特定的这一事实。基于测试样本如何被回答,我们提出迭代示例选择(IDS)以利用两个维度的优点。使用零样本思维链推理(Zero-shot-CoT),IDS迭代地选择与测试样本多样但仍强相关的示例作为ICL演示。具体而言,IDS在示例选择前对测试样本应用Zero-shot-CoT。随后输出推理路径被用于选择前置到测试样本以进行推断的演示。生成的答案随后附带其相应推理路径,用于在下一次迭代中提取新一组演示。经过若干次迭代后,IDS采用多数投票获得最终结果。通过在推理、问答和主题分类等任务上的大量实验,我们证明IDS能持续优于现有ICL示例选择方法。
引用
@article{arxiv.2310.09881,
title = {In-Context Learning with Iterative Demonstration Selection},
author = {Chengwei Qin and Aston Zhang and Chen Chen and Anirudh Dagar and Wenming Ye},
journal= {arXiv preprint arXiv:2310.09881},
year = {2024}
}