一种用于深度网络极小值的尺度不变平坦性度量
机器学习
2019-02-08 v1 机器学习
摘要
经验观察表明，训练深度网络所得极小值的平坦性似乎与更好的泛化能力相关。然而，对于具有正齐次激活函数的深度网络，大多数尖锐度/平坦性度量对网络参数的重缩放（对应于同一函数）并不具有不变性。这意味着平坦度/尖锐度的度量可以通过重缩放变得任意小或任意大，使得定量度量失去意义。本文中我们证明，对于具有正齐次激活函数的深度网络，这些重缩放构成等价关系，并且这些等价关系在参数空间中诱导出一个商流形结构。利用该流形结构与适当的度量，我们提出了一种基于 Hessian 的平坦性度量，其对重缩放具有不变性。我们使用这一新度量来证实大批量 SGD 极小值确实比小批量 SGD 极小值更尖锐的命题。
引用
@article{arxiv.1902.02434,
title = {A Scale Invariant Flatness Measure for Deep Network Minima},
author = {Akshay Rangamani and Nam H. Nguyen and Abhishek Kumar and Dzung Phan and Sang H. Chin and Trac D. Tran},
journal= {arXiv preprint arXiv:1902.02434},
year = {2019}
}