基于Z分数梯度过滤的锐度感知最小化

深度神经网络在许多领域实现了高性能，但当优化受到微小或噪声梯度分量影响时，其泛化能力仍可能面临挑战。锐度感知最小化（Sharpness-Aware Minimization）通过沿高曲率方向扰动参数来改善泛化，但它使用整个梯度向量，这意味着微小或噪声分量可能会影响上升步长，导致优化器错过最优解。我们提出了Z分数过滤锐度感知最小化（Z-Score Filtered Sharpness-Aware Minimization），该方法对每一层的梯度应用基于Z分数的过滤。我们并非使用所有梯度分量，而是构建一个掩码，仅保留具有最大绝对Z分数的顶部百分位分量。百分位阈值Qp决定了保留多少分量，从而使上升步长聚焦于与该层平均值相比最突出的方向。这种选择性扰动优化了向更平坦极小值的搜索，同时减少了不太显著梯度的影响。在CIFAR-10、CIFAR-100和Tiny-ImageNet上使用ResNet、VGG和Vision Transformer等架构进行的实验表明，与锐度感知最小化及其变体相比，所提出的方法持续提高了测试准确率。代码仓库位于：https://github.com/YUNBLAK/Sharpness-Aware-Minimization-with-Z-Score-Gradient-Filtering