论深度整流网络对类别边界高分辨率表示的压缩能力

本文从分段线性（PWL）分类器边界的几何视角，为深度整流网络相较于浅层整流网络的优越分类性能提供了理论论证。我们证明，对于给定的逼近误差阈值，逼近一般光滑边界所需的边界刻面数随数据维数呈指数增长，因此 PWL 分类器的边界刻面数（称为边界分辨率）是一个重要的质量度量，可用于估计分类误差的下界。然而，直接学习呈指数级增长的边界刻面需要确定呈指数级增长的参数，并且需要呈指数级增长的训练模式。为了克服这一“维数灾难”问题，需要对高分辨率分类器边界进行压缩表示。为了展示深度整流网络相较于浅层整流网络的优越压缩能力，我们证明，当单隐层整流网络分类器的单元数小于模式维数时，其最大边界分辨率随单元数呈指数增长。当单元数大于模式维数时，增长率降为多项式阶。因此，如果将相同的大量单元排列在多层而不是单个隐层中，生成高分辨率边界的能力将会提高。以高维球形边界为例，我们展示了深度整流网络如何利用几何对称性，以比单隐层网络显著更少的参数数达到相同的逼近精度。