“上下文学习”或：我如何学会停止担忧并爱上“应用信息检索”

随着大语言模型（LLM）能力的不断增强，上下文学习（ICL）已演变为自然语言处理（NLP）的一种新范式。在该范式中，不再使用带标签的样本针对下游任务微调 LLM 的参数，而是将少量此类样本附加到提示指令中，以控制解码器的生成过程。因此，ICL 在概念上类似于非参数方法（如 $k$-NN），其中对每个实例的预测本质上取决于局部拓扑，即取决于局部化的相似实例及其标签集（称为少样本示例）。这表明 ICL 中的测试实例类似于 IR 中的查询，而 ICL 中从训练集检索到的相似示例则关联于 IR 中从文档集中检索到的一组文档。虽然标准的无监督排序模型可用于从训练集中检索这些少样本示例，但通过重新定义与其对下游任务效用相关的相关性概念（即，如果将一个示例包含在提示指令中能导致正确预测，则认为该示例是相关的），这些示例的有效性可能会得到提升。有了这种特定于任务的相关性概念，就可以训练一个有监督排序模型（例如双编码器或交叉编码器），该模型有望学会最优地选择少样本示例。我们相信，神经排序器的最新进展有可能为这一任务找到用武之地，即为更有效的下游 ICL 预测最优地选择示例。