解析基于演示选择的学习方法在原地学习中的运作机制

大语言模型（LLM）在从少量样本演示例中进行原地学习（ICL）方面展现了惊人的能力。虽然最近的基于学习的演示选择方法通过选择更有用的演示例证明有益于 ICL，但其背后的机制尚不清晰，阻碍了解决高训练成本和在不同任务间的poor generalization等局限。这些方法通常假设选择过程捕获了演示例与目标实例之间的相似性，但究竟捕获了哪些类型的相似性，以及哪些是对 ICL 至关重要的，仍未知。为回答此问，本文分析了基于学习的演示选择方法的工作机制，并通过在十个数据集和各种 LLM 上进行大量定量和定性分析，识别出与相似性度量相关的两个重要因素：1）能够整合不同层次的任务无关文本相似性（即演示例输入与测试案例之间的相似性）的能力，能够提高跨不同任务的泛化能力。2）在衡量相似性时 incorporating task-specific labels（任务特定标签），显著提高了在每个特定任务上的性能。基于我们的发现，本文引入两种简洁有效的演示选择方法，分别针对任务无关和任务特定需求，消除了高成本的 LLM 推理开销。