并非所有示范样例都同等有益：为上下文学习重加权示范样例
计算与语言
2024-03-19 v1
摘要
大语言模型（LLMs）近期随着模型规模扩大获得了上下文学习（ICL）能力，使其仅通过在输入序列前添加少量示范样例即可快速适应下游任务。然而，当前 ICL 实践将所有示范样例同等对待，这仍有改进空间，因为样例质量通常参差不齐。本文中，我们探究如何确定近似最优的示范样例权重，以及如何在 ICL 中应用它们。为在无额外验证数据时评估权重质量，我们设计了一种掩码自预测（MSP）分数，其与最终 ICL 性能表现出强相关性。为加速权重搜索过程，我们对连续权重空间进行离散化并采用集束搜索。获得近似最优权重后，我们进一步提出两种策略，在模型不同位置将其应用于示范样例。在 8 个文本分类任务上的实验结果表明，我们的方法大幅优于常规 ICL。我们的代码已公开于 https:github.com/Zhe-Young/WICL。
引用
@article{arxiv.2310.08309,
title = {Not All Demonstration Examples are Equally Beneficial: Reweighting Demonstration Examples for In-Context Learning},
author = {Zhe Yang and Damai Dai and Peiyi Wang and Zhifang Sui},
journal= {arXiv preprint arXiv:2310.08309},
year = {2024}
}
备注
Findings of EMNLP 2023