上下文学习中的记忆化
计算与语言
2025-04-07 v3 人工智能
机器学习
摘要
上下文学习（ICL）已被证明是一种无需额外训练即可提升大型语言模型（LLM）性能的有效策略。然而，这种性能提升背后的确切机制仍不清楚。本研究首次展示了ICL如何浮现记忆化的训练数据，并探讨了这种记忆化与各种ICL机制（零样本、少样本和多样本）下下游任务性能之间的相关性。我们最显著的发现包括：（1）在大多数情况下，与零样本学习相比，ICL显著浮现了记忆化；（2）不带标签的演示是浮现记忆化最有效的元素；（3）当少样本机制中浮现的记忆化达到较高水平（约40%）时，ICL能提升性能；（4）当ICL性能优于零样本学习时，其性能与记忆化之间存在非常强的相关性。总体而言，我们的研究揭示了记忆化是影响ICL的一个新因素，提出了一个重要问题：LLM在多大程度上真正从ICL的演示中进行了泛化，它们的成功又有多少归因于记忆化？
引用
@article{arxiv.2408.11546,
title = {Memorization in In-Context Learning},
author = {Shahriar Golchin and Mihai Surdeanu and Steven Bethard and Eduardo Blanco and Ellen Riloff},
journal= {arXiv preprint arXiv:2408.11546},
year = {2025}
}
备注
v3