MAPLE: 基于影响力的 many-shot 自适应伪标签学习
人工智能
2025-05-27 v2
摘要
In-Context Learning (ICL) 使大型语言模型 (LLM) 能够通过将多个输入-输出示例（即 demonstration）纳入 LLM 输入来解决多样化任务。最近，LLM 上下文窗口扩大的进展导致 many-shot ICL 兴起，这种方法使用数百个 demonstration 而超越 few-shot ICL 后者依赖较少示例。然而，这种方法常受高获取大量标记数据成本的限制。为此，我们提出 Many-Shot Adaptive Pseudo-LabEling，即 MAPLE，一套基于影响力的 many-shot ICL 框架，利用伪标记样本来弥补标签信息不足。我们首先识别一组影响深远的未标记样本，并通过查询 LLM 对其进行伪标记。随后，这些伪标记样本被自适应地选择并针对每个 test query 进行定制化，以提升 many-shot ICL 的性能，而无需额外大量标记成本。广泛的实验表明，我们的框架有效且高效，展示了其在有限标记数据下增强 LLM 适应性和性能的能力。
引用
@article{arxiv.2505.16225,
title = {MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning},
author = {Zihan Chen and Song Wang and Zhen Tan and Jundong Li and Cong Shen},
journal= {arXiv preprint arXiv:2505.16225},
year = {2025}
}