探究大语言模型在零样本学习中的近似发展区
计算与语言
2025-02-12 v1
摘要
本文我们引入一种学习分析框架，通过近似发展区 (ZPD) 的视角分析大语言模型 (LLM) 的零样本学习 (ICL) 行为。ZPD 划定了学习者在无支持情况下的能力与在支持情况下的能力之间的空间。我们基于模型在带有和没有 ICL 的单个样本上的表现来衡量 LLM 的 ZPD。进一步，我们提出了项目回应理论 (IRT) 模型来预测模型的区域分布。我们的发现揭示了 ICL 的一系列复杂且多面的行为，为理解和利用这一技术提供了新见解。最后，我们展示我们的框架如何在推理和微调场景中增强 LLM: (1) 通过预测模型的近似发展区，我们有选择地对最可能从演示中获益的查询应用 ICL，在推理成本和性能之间取得更好的平衡; (2) 我们提出一种类人化的课程用于微调，该课程优先处理模型 ZPD 中的示例。该课程在性能上取得改进，并通过对 LLM 训练动力学的分析解释了其有效性。
引用
@article{arxiv.2502.06990,
title = {Investigating the Zone of Proximal Development of Language Models for In-Context Learning},
author = {Peng Cui and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2502.06990},
year = {2025}
}
备注
NAACL 2025 findings