神经网络泛化性质的辨识
机器学习
2018-09-21 v1 机器学习
摘要
尽管尚未被证明，经验证据表明模型泛化与可通过 Hessian 描述的极值点的局部性质相关。我们在 PAC-Bayes 范式下将模型泛化与解的局部性质相联系。具体而言，我们证明模型泛化能力与时 Hessian、由 Hessian 的 Lipschitz 常数刻画的高阶“平滑”项以及参数的尺度相关。受该证明引导，我们提出一种度量以评估模型的泛化能力，以及一种相应优化扰动模型的算法。
引用
@article{arxiv.1809.07402,
title = {Identifying Generalization Properties in Neural Networks},
author = {Huan Wang and Nitish Shirish Keskar and Caiming Xiong and Richard Socher},
journal= {arXiv preprint arXiv:1809.07402},
year = {2018}
}
备注
23 pages