用于监控神经网络训练的层级 Hessian 迹的随机估计

损失及其梯度范数仅弱ly 分离了神经网络训练中的健康与病理 regime，而经验风险的曲率在两者之间存在质的差异，但在参数计数 $P\sim 10^{6}-10^{8}$ 时是不可直接获取的。我们提出了一种神经网络经验风险 Hessian 矩阵对角块迹的随机估计器。该程序将 Hutchinson 随机迹估计器与整个参数向量上的单个 Hessian-向量乘积相结合，在一次向后传递通过计算图即可恢复每个 per-layer 迹的无偏估计。我们指出，正确性在权重共享情况下需要在第二次微分之前组装层级 Hessian：将共享权重展开为独立坐标会引入受跨实例 Hessian 块支配的符号和大小的系统性偏差。推导了在固定 Hessian 下估计器方差的闭式表达式，以及在 mini-batch 采样分布下的总方差分解。该分解产生关键探针计数 $K^{\star}$，在平衡两种随机来源时起到关键作用，并支持在在线监控 regime 中采用 $K\in[5,10]$ 的实用建议。该估计器用于检测 CIFAR-10 和 CIFAR-100 上 ResNet-18、ResNet-34 和 VGG-11 的标签记忆 regime，校准的累积和决策规则在假警报率为 $16/120$ 时实现了 $179/180$ 的经验检测功效。