语言模型预训练中的概念演化
机器人学
2025-09-23 v1
摘要
语言模型通过预训练获得 extensive capabilities，但预训练过程仍是一个黑箱。在本工作中，我们使用一种称为crosscoders的稀疏字典学习方法，追踪跨预训练快照的线性可解释特征演化。我们发现，大多数特征在特定时间点开始形成，而更复杂的模式则在后期训练阶段出现。特征归因分析揭示了特征演化与下游性能之间的因果联系。我们的特征层面观察高度一致于前人对Transformer两阶段学习过程的发现 findings，我们将其称为统计学习阶段和特征学习阶段。我们的工作开拓了在语言模型学习动力学中跟踪细粒度表示进展的可能性。
引用
@article{arxiv.2509.17195,
title = {MAST: Multi-Agent Spatial Transformer for Learning to Collaborate},
author = {Damian Owerko and Frederic Vatnsdal and Saurav Agarwal and Vijay Kumar and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2509.17195},
year = {2025}
}