闭合曲率差距：全 Transformer Hessian 及其对扩展规律的影响

层归一化和前馆 Hessian 的理论结果缺失，导致 Transformer 优化 landscapes 研究存在缺口。我们通过推导这些组件的显式二阶表达式，弥合了对完整 Transformer 块 Hessian 表征的不完整。我们的结果概括了先前的自注意力分析，给出每个子层在曲率传播中作用的估计。我们展示了这些 Hessian 结构如何既影响收敛动力学，又决定大规模模型性能的经验扩展规律。进一步，我们提出一种基于 Taylor 展开的框架，用于分析损失差异以量化收敛轨迹。通过将 Hessian 理论扩展到完整的 Transformer 架构，本工作为大规模深度学习优化的理论与实证研究奠定了新基础。