深度学习中所隐含的几何奥卡姆剃刀
机器学习
2021-12-02 v2 机器学习
摘要
在过参数化深度神经网络中，可能存在许多精确拟合训练数据的参数配置。然而，这些插值解的性质尚不清楚。我们认为，使用随机梯度下降训练的过参数化神经网络受到几何奥卡姆剃刀的约束；即，这些网络被几何模型复杂度隐式正则化。对于一维回归，几何模型复杂度仅由函数的弧长给出。对于更高维设置，几何模型复杂度取决于函数的狄利克雷能量。我们探讨了这一几何奥卡姆剃刀、狄利克雷能量与其他已知形式隐式正则化之间的关系。最后，对于在 CIFAR-10 上训练的 ResNet，我们观察到狄利克雷能量测量结果与这一隐式几何奥卡姆剃刀的作用相一致。
引用
@article{arxiv.2111.15090,
title = {The Geometric Occam's Razor Implicit in Deep Learning},
author = {Benoit Dherin and Michael Munn and David G. T. Barrett},
journal= {arXiv preprint arXiv:2111.15090},
year = {2021}
}
备注
Accepted as a NeurIPS 2021 workshop paper (OPT2021)