仅保留不足以实现宽度增长:密集LM热启动的机制敏感选择

宽度扩展为重用较小的因果语言模型检查点提供了一条实用途径,但选择扩展后的热启动并不能仅通过零步保留来解决。我们将密集宽度增长研究为一个在完整训练状态(包括复制权重、优化器状态和调度器状态)上的候选选择问题。在一个小规模的TinyStories代理中,我们在匹配的延续预算下比较了精确复制、扰动、非对称重置和结构化非克隆热启动。我们在确定性和随机机制中评估了零步保留、短滞后探测指标和下游延续效用。结果好坏参半,并通过一个缩减池的种子1检查得到部分复现。精确对称热启动在种子0步骤1000和2000以及缩减的种子1步骤2000的每个完成的16步探测和完成的随机128步延续中均排名第一。相比之下,结构化非克隆挑战者在确定性128步延续中获胜。因此,早期逃离继承的克隆子空间并非通用选择器:它在长确定性延续中有帮助,但在短滞后和随机延续下会误导。结果虽窄但有用:对于此规模的密集宽度增长,保留并非通用排序标准,最佳替换信号取决于机制和滞后预算。