深度学习中奥卡姆剃刀的几何建模

为何深度神经网络（DNNs）受益于极高维的参数空间？其巨大的参数复杂度与实践中的惊人表现令人费解，且无法用正则模型的标准模型选择理论解释。本文中，我们提出一种具有几何色彩的信息论方法来研究该现象。基于简洁性与更好泛化能力相关的信念（植根于最小描述长度理论），我们分析的目标是检验并界定DNNs的复杂度。我们通过考虑Fisher信息矩阵的有效维数，引入神经网络模型参数空间的局部变化维数，并利用奇异半黎曼几何框架将参数空间建模为流形。我们推导了基于奇异性分析 yielding 短描述长度的深度神经网络模型复杂度度量，从而解释了DNNs尽管参数众多仍表现良好的原因。