学习搜索上下文学习的有效示例序列
计算与语言
2025-03-12 v1
摘要
大型语言模型展现出令人印象深刻的少样本学习能力，但其性能因上下文示例序列的不同而有很大差异。影响此的关键因素包括序列的长度、组成和排列，以及其与特定查询的关系。现有方法通常孤立地处理这些因素，忽略了它们的相互依赖性。此外，选择最优序列的庞大搜索空间使得开发一种整体方法变得复杂。在这项工作中，我们引入了基于束搜索的示例序列构造器（BESC），这是一种学习构造最优示例序列的新方法。BESC 在推理过程中联合考虑序列选择涉及的所有关键因素，同时增量构建序列。这种设计使得能够使用束搜索来显著降低搜索空间的复杂度。在各种数据集和语言模型上的实验表明性能有显著提升。
引用
@article{arxiv.2503.08030,
title = {Learning to Search Effective Example Sequences for In-Context Learning},
author = {Xiang Gao and Ankita Sinha and Kamalika Das},
journal= {arXiv preprint arXiv:2503.08030},
year = {2025}
}
备注
Accepted to appear at NAACL 2025