论理解懂类比于权重中的学习

Bryan Chan; Xinyi Chen; András György; Dale Schuurmans

论理解懂类比于权重中的学习

机器学习 2025-04-29 v3

作者: Bryan Chan , Xinyi Chen , András György , Dale Schuurmans

摘要

最近的实验表明，在训练数据中存在特定分布属性时，transformer 能够产生类比学习，然而这种能力也会在进一步训练后消退。我们通过识别引发类比学习出现及其最终消失所必需的简化分布属性，提供了新的理论理解。首先，我们分析一个使用门控机制在类比学习与权重学习之间进行选择的简化模型。通过泛化误差和后悔分析，我们识别了类比学习与权重学习出现的条件。这些理论发现随后通过将完整的 transformer 在简化分布上与该样式模型进行比较，实验验证，显示出一致的结果。我们随后扩展到完整的大语言模型，表明对各种自然语言提示进行精调可诱发类似的类比学习与权重学习行为。

关键词

类比学习权重学习 transformer 分布属性泛化误差

引用

@article{arxiv.2410.23042,
  title  = {Toward Understanding In-context vs. In-weight Learning},
  author = {Bryan Chan and Xinyi Chen and András György and Dale Schuurmans},
  journal= {arXiv preprint arXiv:2410.23042},
  year   = {2025}
}

备注

In The Thirteenth International Conference on Learning Representations (ICLR 2025)

论理解懂类比于权重中的学习

摘要

关键词

引用

备注

相关论文