突破 Transformer 中上下文学习的训练平台期
机器学习
2024-06-07 v3 计算与语言
计算机视觉与模式识别
摘要
上下文学习，即从上下文示例中学习，是 Transformer 的一项令人印象深刻的能力。由于学习平台期的出现，训练 Transformer 具备此上下文学习技能计算密集；学习平台期是训练过程中模型上下文学习能力极少或无提升的阶段。为研究学习平台期背后的机制，我们在概念上将模型内部表示中仅受模型权重影响的一个分量分离出来。我们称之为“权重分量”，其余识别为“上下文分量”。通过在合成任务上细致受控的实验，我们注意到学习平台期的持续与权重分量功能受损相关。认识到权重分量性能受损是驱动学习平台期的基础行为，我们开发了三种策略以加速 Transformer 的学习。这些策略在自然语言处理任务中进一步得到验证。总之，我们的研究表明以环保方式在 AI 系统中培养强大上下文学习能力的可行性。
引用
@article{arxiv.2309.06054,
title = {Breaking through the learning plateaus of in-context learning in Transformer},
author = {Jingwen Fu and Tao Yang and Yuwang Wang and Yan Lu and Nanning Zheng},
journal= {arXiv preprint arXiv:2309.06054},
year = {2024}
}