面向上下文学习的统一示例检索器

上下文学习是一种新的学习范式，其中语言模型以少量输入-输出对（示例）和测试输入为条件，直接输出预测。已有研究表明其高度依赖于所提供的示例，从而推动了示例检索的研究：给定测试输入，从训练集中检索相关样本作为上下文学习的信息性示例。先前的工作侧重于分别为若干任务训练特定任务的检索器，这些方法往往难以在各种任务上迁移和扩展，且分别训练的检索器会带来大量参数存储与部署成本。本文提出统一示例检索器（Unified Demonstration Retriever，\textbf{UDR}），一个为广泛任务检索示例的单一模型。为训练 UDR，我们通过语言模型的反馈将多种任务的训练信号转化为统一的列表式排序形式。随后提出一个多任务列表式排序训练框架，并采用迭代挖掘策略寻找高质量候选，以帮助 UDR 充分融合各任务信号。在跨越 13 个任务族与多个数据域的 30 多个任务上的实验表明，UDR 显著优于基线方法。进一步分析显示了各提出组件的有效性，以及 UDR 在多种场景下的强大能力，包括不同语言模型（1.3B–175B）、未见过的数据集、变化的示例数量等。