锐度感知最小化导致低秩特征
机器学习
2023-10-31 v2
摘要
锐度感知最小化（SAM）是近来提出的一种最小化神经网络训练损失锐度的方法。尽管其泛化提升广为人知且是主要动机，我们揭示了 SAM 的一个额外引人关注的效果：在神经网络不同层发生的特征秩的降低。我们表明这一低秩效应非常广泛地出现：对于不同架构如全连接网络、卷积网络、视觉 Transformer，以及不同目标如回归、分类、语言-图像对比训练。为更好理解此现象，我们提供了在简单两层网络中低秩特征如何产生的机制性理解。我们观察到大量激活被 SAM 完全剪枝，这直接促成了秩的降低。我们从理论上证实了该效应，并核查其在深度网络中亦可能发生，尽管整体秩降低机制可能更为复杂，尤其对于带预激活跳跃连接和自注意力层的深度网络。我们在 https://github.com/tml-epfl/sam-low-rank-features 提供了代码。
引用
@article{arxiv.2305.16292,
title = {Sharpness-Aware Minimization Leads to Low-Rank Features},
author = {Maksym Andriushchenko and Dara Bahri and Hossein Mobahi and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2305.16292},
year = {2023}
}
备注
The camera-ready version (NeurIPS 2023)