信任但验证：用于训练监控的低位 Transformer 网络剥离
机器学习
2026-05-05 v1
摘要
了解深度神经网络是否有效优化仍然具有挑战性，因为训练发生在高度非凸的景观中，标准指标为层级学习质量提供了有限的可见性。这一挑战在基于变换器的语言模型中尤为突出，因为训练成本高昂，模型常以冻结形式重用，而 poorly 优化的层可能在隐形地降低性能。我们提出了一个用于监控训练动力学的层级剥离框架，其中每个变换器层都针对已训练模型的中间表示进行局部优化。通过构建轻量级、层特定的参考解，并通过不同置换将层投影到多个中间输出上，我们获得可实现的基线，从而实现对 under-optimized 层的精细诊断。在仅解码器的变换器模型的实验中，这些层级参考界限可以在训练的各个阶段与训练模型相匹配或甚至超越，暴露出在聚合损失曲线中保持隐藏的效率不足。我们进一步演示了这种分析在二值化和量化设置下依然有效，这些设置下的训练动力学尤其脆弱。在所有数值结果中，所提出的界限始终将显然收敛与实际最优性分开，突显了当仅依赖训练损失时隐藏的优化机会。
引用
@article{arxiv.2605.02853,
title = {Trust, but Verify: Peeling Low-Bit Transformer Networks for Training Monitoring},
author = {Arian Eamaz and Farhang Yeganegi and Mojtaba Soltanalian},
journal= {arXiv preprint arXiv:2605.02853},
year = {2026}
}