失败乃成功之母：利用负样本增强少样本上下文学习
计算与语言
2025-08-01 v1
摘要
大型语言模型展现出强大的少样本上下文学习能力，但其性能对提供的示例高度敏感。近期的研究侧重于为每个输入查询检索相应的示例，这不仅提高了学习过程的效率和可扩展性，还减轻了人工选择示例的固有偏差。然而，这些研究主要强调利用正样本，却忽略了负样本中用于上下文学习的额外信息。我们提出了一种利用负样本以更好地选择正样本示例的新颖方法，从而增强少样本 ICL 的性能。首先，我们基于 Zero-Shot-Cot 构建正样本和负样本语料库。然后，在推理阶段，我们采用基于语义相似性的方法，从正样本和负样本语料库中为给定查询选择最相似的示例。随后，我们根据与负样本示例的语义相似性，进一步从正样本语料库中检索正样本示例，然后将它们与先前选择的正样本示例拼接起来，作为 ICL 的演示。实验结果表明，我们的方法超越了仅依赖最相似正样本作为上下文的方法，验证了负样本中的额外信息能够通过改进正样本选择来提升 ICL 性能。
引用
@article{arxiv.2507.23211,
title = {Failures Are the Stepping Stones to Success: Enhancing Few-Shot In-Context Learning by Leveraging Negative Samples},
author = {Yunhao Liang and Ruixuan Ying and Takuya Taniguchi and Zhe Cui},
journal= {arXiv preprint arXiv:2507.23211},
year = {2025}
}