信息论视角的局部极小刻画与正则化
机器学习
2020-07-01 v2 机器学习
摘要
深度学习的近期理论进展引发了对深度神经网络（DNNs）不同局部极小泛化能力的研究。现有工作要么聚焦于发现良好局部极小的性质，要么致力于开发正则化技术以诱导良好局部极小，尚无方法能同时处理这两个问题。我们以统一的方式成功实现了这两个目标。具体而言，基于观测 Fisher 信息，我们提出一种度量，既强烈指示局部极小的泛化能力，又可有效用作实用正则化器。我们提供了包含泛化界的理论分析，并通过实验实证展示了我们的方法在捕捉和提升 DNN 泛化能力两方面的成功。实验在 CIFAR-10、CIFAR-100 和 ImageNet 上针对多种网络架构进行。
引用
@article{arxiv.1911.08192,
title = {Information-Theoretic Local Minima Characterization and Regularization},
author = {Zhiwei Jia and Hao Su},
journal= {arXiv preprint arXiv:1911.08192},
year = {2020}
}
备注
ICML 2020