更多不一定更好？通过差异化和重加权目标提升多shot in-context学习

大型语言模型（LLMs）在无需参数更新的情况下在few-shot in-context learning（ICL）中表现出色。然而，随着ICL演示从少量增加到大量，性能倾向于平台并最终下降。我们确定了这种趋势的两个主要原因：次优的负对数似然（NLL）优化目标和增量数据噪声。为解决这些问题，我们引入了一种新型优化方法DrICL，通过差异化和重加权目标来增强模型性能。在全局层面，DrICL利用差异化学习来优化NLL目标，确保many-shot性能超越zero-shot水平。在局部层面，它通过利用强化学习启发的累积优势，动态调整many-shot演示的权重，从而减轻噪声数据的影响。鉴于缺乏覆盖多种many-shot分布的多任务数据集， 我们开发了Many-Shot ICL基准（ICL-50）——一个覆盖shot数量从1到350的大型基准，在最多8000个标记的序列中，用于fine-tuning和评估目的。实验结果表明，经过DrICL增强的LLMs在各种任务中实现了显著的many-shot性能提升，包括内域和外域场景。我们发布代码和数据集以期促进many-shot ICL的进一步研究。