一种方案不适用所有情况：预测上下文学习中的示例数量
计算与语言
2025-01-22 v3 机器学习
摘要
上下文学习（ICL）是指将来自标注数据训练集的少量局部示例添加到 LLM 的提示中，旨在有效控制生成过程以提升下游任务性能。现有的 ICL 方法对每个数据实例使用相同数量的示例（预先配置的超参数）。我们的工作通过为每个数据实例动态预测用于 LLM 少样本推理的示例数量，缓解了这种“一刀切”方法的局限性。具体而言，我们采用了一个多标签分类器，其参数使用一个训练集拟合，其中该训练集中每个实例的标签表示使用特定的 值（从 0 到最大值之间最相似示例的数量）是否能产生正确的 -shot 下游预测。我们在多个文本分类基准上的实验表明，AICL 在性能上大幅超越了标准 ICL，提升幅度高达 17%。
引用
@article{arxiv.2403.06402,
title = {One size doesn't fit all: Predicting the Number of Examples for In-Context Learning},
author = {Manish Chandra and Debasis Ganguly and Iadh Ounis},
journal= {arXiv preprint arXiv:2403.06402},
year = {2025}
}