Fisher-Rao 度量、几何与神经网络的复杂度
机器学习
2020-07-27 v2 人工智能
机器学习
摘要
我们从不变性的视角研究深度神经网络的几何与容量度量之间的关系。我们引入一种新的容量概念——Fisher-Rao 范数——其具备理想的不变性性质,并受信息几何的启发。我们发现了这一新容量度量的解析刻画,借此建立了范数比较不等式,并进一步表明该新度量可作为若干现有基于范数的复杂度度量的统摄。我们讨论了由所提度量诱导的泛化误差上界。在 CIFAR-10 上的大量数值实验支持了我们的理论发现。我们的理论分析依赖于关于多层整流网络偏导数的一个关键结构引理。
引用
@article{arxiv.1711.01530,
title = {Fisher-Rao Metric, Geometry, and Complexity of Neural Networks},
author = {Tengyuan Liang and Tomaso Poggio and Alexander Rakhlin and James Stokes},
journal= {arXiv preprint arXiv:1711.01530},
year = {2020}
}
备注
To appear in the proceedings of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) 2019