DemoShapley：基于Shapley值评估演示在零样本学习中的贡献
计算与语言
2025-11-25 v3 人工智能
机器学习
摘要
大型语言模型 (LLM) 采用零样本学习 (ICL) 在众多任务中表现出色，无需特定的微调。然而，演示的选择与排序对 ICL 的效果影响巨大。针对这一问题，我们提出了 DemoShapley 方法，该方法基于Shapley值评估每组演示的贡献，通过测量其在不同提示排列中的边际效应。为进一步考虑 ICL 的有限上下文窗口和频繁的零样本设置，我们引入了 Beta-DemoShapley，一种加权扩展，强调较小提示规模的影响。实验表明，DemoShapley 在多个基准测试中 consistently 优于现有的基于影响力的选择策略，而 Beta-DemoShapley 在零样本场景中进一步提升了性能。两种方法还能检测误标记的数据，增强对零样本任务的泛化能力，并减少人口统计偏差。它们共同提供了一个统一且稳健的框架，用于评估 ICL 中的演示贡献。
引用
@article{arxiv.2410.07523,
title = {DemoShapley: Valuation of Demonstrations for In-Context Learning},
author = {Shan Xie and Man Luo and Chadly Daniel Stern and Mengnan Du and Lu Cheng},
journal= {arXiv preprint arXiv:2410.07523},
year = {2025}
}