通过梯度匹配选择大规模情境学习中的演示文稿
计算与语言
2025-06-06 v1
摘要
情境学习 (In-Context Learning, ICL) 使大型语言模型 (LLMs) 能够在无需微调的情况下快速完成任务适应，但其对演示文稿选择的依赖仍是一个关键挑战。虽然大规模情境学习通过扩展演示文稿显示出有前景的性能，但现有工作中用于大规模演示文稿选择的方法仅限于随机选择。由于传统的实例级检索不适用于大规模情境，本文假设情境学习和微调的数据需求是相似的。为此，我们引入一种新颖的梯度匹配方法，通过对齐目标任务整个训练集与所选示例之间的微调梯度来选择演示文稿，从而在所选示例中接近对整个训练集的学习效果。通过在较小的模型（如 Qwen2.5-3B 或 Llama3-8B）上进行梯度匹配，我们的方法在从 4-shot 到 128-shot 的场景中 consistently 优于随机选择，涵盖 9 个多样化数据集。例如，在 Qwen2.5-72B 和 Llama3-70B 上，我们的方法超越随机选择 4%，在 5 个闭源 LLM 上超越约 2%。本工作为更可靠和有效的大规模情境学习提供了可能，为其更广泛的应用铺平了道路。
关键词
引用
@article{arxiv.2506.04579,
title = {Selecting Demonstrations for Many-Shot In-Context Learning via Gradient Matching},
author = {Jianfei Zhang and Bei Li and Jun Bai and Rumei Li and Yanmeng Wang and Chenghua Lin and Wenge Rong},
journal= {arXiv preprint arXiv:2506.04579},
year = {2025}
}
备注
accepted to the ACL2025 Findings