从损失平坦性到压缩神经表示的一个简单联系
机器学习
2026-02-24 v5 人工智能
摘要
尽管已有广泛研究，锐度（局部极小处损失 Hessian 的迹）的意义仍不明确。我们研究一种替代视角：锐度如何与神经表示的几何结构相关，具体而言是表示压缩，定义为在局部输入扰动下神经激活的集中程度。我们引入三种度量——局部体积比（LVR）、最大局部敏感度（MLS）和局部维数——并推导出上界，表明这些量在数学上受锐度约束：更平坦的极小必然限制压缩。我们将这些界扩展到重参数化不变的锐度，并引入网络级变体（NMLS、NVR），其比先前的单层分析提供更紧致、更稳定的界。在实验上，我们在前馈、卷积和 transformer 架构中验证了持续的正相关。我们的结果表明，锐度从根本上量化了表示压缩，为关于锐度—泛化关系的矛盾发现提供了原理性解释。
引用
@article{arxiv.2310.01770,
title = {A simple connection from loss flatness to compressed neural representations},
author = {Shirui Chen and Stefano Recanatesi and Eric Shea-Brown},
journal= {arXiv preprint arXiv:2310.01770},
year = {2026}
}