任务多样性缩短ICL平台期
机器学习
2025-08-13 v3 计算与语言
摘要
In-context learning (ICL) 描述的是语言模型根据一组输入演示及随后的查询生成输出的能力。为理解这一卓越能力，研究者们对简化、理想化的模型进行了研究。这些研究始终观察到模型在学习过程中会出现长期损失平台期（即模型表现几乎不变），随后会发生突然的快速学习激增。本文揭示了在多个多样化ICL任务上同时训练可以缩短损失平台期，使每个任务更容易学习。这个发现颇具反常性，因为它与自然直觉相矛盾——即多个ICL任务的组合复杂度不应该缩短学习过程而应延长。我们的结果表明，大规模语言模型训练的近期成功不仅源于海量数据的丰富性，也归功于任务多样性带来的更易优化（训练）效果。
引用
@article{arxiv.2410.05448,
title = {Task Diversity Shortens the ICL Plateau},
author = {Jaeyeon Kim and Sehyun Kwon and Joo Young Choi and Jongho Park and Jaewoong Cho and Jason D. Lee and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2410.05448},
year = {2025}
}