基于影响的上下文示例选择
计算与语言
2023-06-06 v2 机器学习
摘要
上下文学习 (ICL) 是大型语言模型 (LLMs) 中涌现的一种强大范式。尽管前景可观，但已知 ICL 性能对输入示例高度敏感。在本工作中，我们使用 直接从上下文示例中分析少样本 ICL 性能。我们提出的基于影响的示例选择方法能够识别正向与负向示例，在 9 个 SuperGLUE 任务上评估时优于若干基线。我们的分析揭示了使用最负向上下文示例相较于最正向示例存在高达 的性能差距。在一个案例研究中，我们应用基于影响的框架来量化少样本 ICL 中示例排序的近因偏差现象。
引用
@article{arxiv.2302.11042,
title = {In-context Example Selection with Influences},
author = {Tai Nguyen and Eric Wong},
journal= {arXiv preprint arXiv:2302.11042},
year = {2023}
}