LLM 电路分析在训练与规模上的一致性
机器学习
2024-11-27 v2 计算与语言
摘要
大多数当前部署的大型语言模型（LLM）都进行持续训练或额外微调。相比之下，关于 LLM 内部机制的大多数研究集中在模型在预训练结束时的单一时间点，从而引出了其结果是否推广到实际应用场景的疑问。已有的关于机制随时间演变的研究集中于 encoder-only 或 toy 模型，这些模型与大多数部署模型有显著差异。本研究我们追踪了在 3000 亿 token 的训练中，参数规模从 7000 万到 28 亿的 decoder-only LLM 的模型机制如何随时间出现和演变。我们发现，任务能力及其支持功能组件在相似的 token 计数跨度内以一致方式出现。此外，尽管这些组件可能通过不同的注意力头实现，但实现它们的整体算法保持不变。意外的是，这些算法以及其中涉及的组件类型可以在模型规模之间复制。这些结果表明，对小模型在预训练结束时的电路分析仍可为随后额外预训练和模型规模变化后的情形提供见解。
引用
@article{arxiv.2407.10827,
title = {LLM Circuit Analyses Are Consistent Across Training and Scale},
author = {Curt Tigges and Michael Hanna and Qinan Yu and Stella Biderman},
journal= {arXiv preprint arXiv:2407.10827},
year = {2024}
}
备注
NeurIPS 2024