探究类内学习的预训练动力学：任务识别 vs. 任务学习
机器学习
2024-06-21 v1 计算与语言
摘要
类内学习（in-context learning, ICL）的出现可能归因于两个主要能力：从演示中识别任务（task recognition, TR）并利用预训练先验，以及从演示中学习任务（task learning, TL）。然而，这两种能力之间的关系以及这些关系如何影响 ICL 的出现尚不清晰。本文首次通过仔细设计的指标，检视 ICL 涌现的预训练动力学。我们发现这两种能力实际上在预训练期间是竞争性的。此外，我们观察到这种竞争与 ICL 性能之间存在强烈的负相关性。进一步分析常见的预训练因素（即模型规模、数据集规模和数据课程），表明可能的调节方式。基于这些见解，我们提出一种简单而有效的方法，以更好地集成这两种能力以实现推理中的 ICL。通过自适应集成学习，ICL 的性能可显著提升，使两个小模型能够超越参数数目超过两倍的大型模型。代码已发布于 https://github.com/RUCAIBox/Competitive-ICL。
引用
@article{arxiv.2406.14022,
title = {Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning},
author = {Xiaolei Wang and Xinyu Tang and Wayne Xin Zhao and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2406.14022},
year = {2024}
}
备注
work in progress