归一化平坦极小值：基于 PAC-Bayesian 分析探讨神经网络平坦极小值的尺度不变定义
机器学习
2019-01-29 v2 机器学习
摘要
平坦极小值的概念在深度学习模型泛化研究中起着关键作用。然而，已知的平坦性定义对参数的重缩放敏感。该问题表明以往的平坦性定义可能并非泛化的良好度量，因为泛化对此类重缩放是不变的。本文从 PAC-Bayesian 视角审视有关平坦极小值的讨论，并引入归一化平坦极小值的概念，其不受已知的尺度依赖问题影响。此外，我们指出已有的基于矩阵范数的泛化误差界与已有平坦极小值定义类似存在尺度依赖性。我们修正的平坦性概念也不受该不足影响，表明其可能在假设类中提供更好的层级结构。
引用
@article{arxiv.1901.04653,
title = {Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis},
author = {Yusuke Tsuzuku and Issei Sato and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1901.04653},
year = {2019}
}