一种用于深度神经网络的可重参数化不变平坦性度量
机器学习
2019-12-03 v1 机器学习
摘要
深度神经网络的性能通常归因于其自动的、与任务相关的特征构建。然而，为何这会导致具有良好泛化能力的解决方案，即使在参数数量大于样本数量的情况下，仍然是一个开放问题。早在90年代，Hochreiter和Schmidhuber观察到损失曲面在局部极小值附近的平坦性与低泛化误差相关。对于若干平坦性度量，这种相关性已被经验验证。然而，最近的研究表明，由于缺乏对重参数化的不变性，现有的平坦性度量在理论上无法与泛化相关联。我们提出了对现有平坦性度量的一种自然修正，从而实现对于重参数化的不变性。
引用
@article{arxiv.1912.00058,
title = {A Reparameterization-Invariant Flatness Measure for Deep Neural Networks},
author = {Henning Petzka and Linara Adilova and Michael Kamp and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:1912.00058},
year = {2019}
}
备注
14 pages; accepted at Workshop "Science meets Engineering of Deep Learning", 33rd Conference on Neural Information Processing Systems (NeurIPS 2019)