度量目标景观的内在维度

许多近期训练的神经网络使用大量参数以获得良好性能。人们可能直观地用所需参数数量作为问题难度的粗略度量。但这类概念有多准确？究竟真正需要多少参数？在本文中，我们试图通过不在网络自身的原生参数空间中、而是在一个更小的、随机取向的子空间中训练网络来回答此问题。我们缓慢增大该子空间的维度，记录解首次出现的维度，并将其定义为目标景观的内在维度。该方法实现简单、计算可行，并得出若干启发性结论。许多问题的内在维度比人们猜想的更小，且给定数据集的内在维度在尺寸差异巨大的模型族中变化甚微。后一结果具有深远含义：一旦参数空间大到足以解决问题，额外的参数便直接用于增加解流形的维度。内在维度允许在监督学习、强化学习及其他类型学习之间对问题难度进行一些定量比较，我们由此得出结论，例如：求解倒立摆问题比 MNIST 数字分类容易 100 倍，而从像素玩 Atari Pong 大约与 CIFAR-10 分类一样难。除了提供参数化模型所漫游的目标景观的新地图学之外，该方法还是一种构造性地获得解的最小描述长度上界的直接技术。该构造的一个副产品是一种简单的网络压缩方法，在某些情况下可压缩超过 100 倍。