面向上下文学习的组合式示例选择

大型预训练语言模型（LM）已展现出令人印象深刻的上下文学习（ICL）能力，即模型通过由输入-输出示例组成的提示作为演示来学习完成未见任务，而无需任何参数更新。ICL的性能高度依赖于所选上下文示例的质量。然而，以往的选择方法大多基于简单启发式规则，导致次优性能。在本工作中，我们将上下文示例选择表述为一个子集选择问题。我们提出CEIL（面向上下文学习的组合式示例，Compositional Exemplars for In-context Learning），其由行列式点过程（DPP）实例化以建模给定输入与上下文示例之间的交互，并通过精心设计的对比学习目标进行优化，从而从语言模型中获取偏好。我们在涵盖情感分析、释义检测、自然语言推理、常识推理、开放域问答、代码生成和语义解析等7类不同NLP任务的12个分类与生成数据集上验证了CEIL。大量实验不仅展示了最先进的性能，还证明了CEIL的可迁移性与组合性，为高效且有效的上下文学习提供了新思路。我们的代码发布于 https://github.com/HKUNLP/icl-ceil。