皇冠、框架、逆转：LLM 预训练的分层比例变体
计算与语言
2025-09-09 v1 人工智能
摘要
Transformer 基础语言模型传统上使用均匀（各向同性）的层大小，却忽略了不同深度在不同功能角色中所发挥的作用及其计算容量需求。基于分层比例缩放（Layer-Wise Scaling, LWS）和剪枝文献，我们引入了三个新的 LWS 变体——框架型（Framed）、逆转型（Reverse）和皇冠型（Crown），通过二点或三点线性插值重新分配前馈网络宽度和注意力头。在固定 180M 参数预算、训练 50 亿标记的条件下，对所有模型进行了首次系统性消融实验。所有模型均收敛至相似的损失，并在不显著降低训练吞吐量的同时，实现了较等成本各向同性基线的更好性能。这一工作代表了对预训练中分层架构设计空间的初始一步，但未来的工作应将实验规模扩展到数十倍甚至上百倍的标记和参数，以充分评估其潜力。
关键词
引用
@article{arxiv.2509.06518,
title = {Crown, Frame, Reverse: Layer-Wise Scaling Variants for LLM Pre-Training},
author = {Andrei Baroian and Kasper Notebomer},
journal= {arXiv preprint arXiv:2509.06518},
year = {2025}
}
备注
The reported results are skewed due to a data type mismatch. The dataset was saved with int32, but the data loader interpreted it as uint16. As a result, each 32-bit token was incorrectly split into two 16-bit tokens. Outcome: a consistent artifact where every other token is zero