基于影响分析的情境学习演示选择

大型语言模型 (LLM) 展示了其情境学习 (In-Context Learning, ICL) 能力，使无需梯度更新即可实现零样本学习。尽管具有上述优势，但 ICL 的效果很大程度上取决于演示样本的选择。对于选择最有效 ICL 演示的任务仍然是重要的研究挑战。为解决此问题，我们提出了一种名为 InfICL 的演示选择方法，该方法利用影响函数来分析训练样本的影响。通过识别最具影响力的训练样本作为演示，InfICL 旨在增强 ICL 的泛化性能。为保持 InfICL 的成本效益，我们仅使用 LLM 生成样本输入嵌入，避免了昂贵的微调。在 various real-world 数据集上的实证研究表明，InfICL 在与最先进基线方法之间的优势。