从几何视角估计神经网络的学习能力
机器学习
2020-12-02 v2 无序系统与神经网络
机器学习
摘要
本文利用统计与微分几何的动机，获取关于人工神经网络在给定数据集上学习能力的事前信息。论文考虑了一类广义架构的神经网络，其通过随机梯度下降（SGD）执行简单的最小二乘回归。分析了学习轨迹中两个关键 epoch 的系统特征。在训练阶段的某些 epoch，系统达到平衡，泛化能力达到最大。系统也可能与局部的非平衡态相干，其特征是 Hessian 矩阵的稳定化。本文证明泛化能力越高的神经网络收敛速率越慢。并讨论了泛化能力与神经网络稳定性之间的关系。通过将高能物理原理与神经网络学习理论相关联，本文从人工神经网络视角建立了复杂性-作用（Complexity-Action）猜想的一个变体。
引用
@article{arxiv.2011.04588,
title = {Geometry Perspective Of Estimating Learning Capability Of Neural Networks},
author = {Ankan Dutta and Arnab Rakshit},
journal= {arXiv preprint arXiv:2011.04588},
year = {2020}
}
备注
15 pages