深度网络的几何结构：幂图细分
机器学习
2019-05-22 v1 机器学习
摘要
我们研究具有分段仿射凸非线性的深度（神经）网络（DNs）的几何结构。此类 DNs 的层已被证明是{\em 最大仿射样条算子}（MASOs），它们划分输入空间并对输入施加依赖于区域的仿射映射以产生输出。我们证明每个 MASO 层的输入空间划分对应于一个{\em 幂图}（经典 Voronoi 镶嵌的推广），其区域数量相对于单元（神经元）数量呈指数增长。我们进一步表明 MASO 层的组合（例如整个 DN）产生逐步细分的幂图，并给出其解析形式。该细分过程约束（指数级多的）幂图区域上的仿射映射，极大降低其复杂度。对于分类问题，我们得到 MASO DN 在输入空间中的决策边界公式，以及依赖于 DN 非线性、权重和架构的曲率度量。大量数值实验支持并扩展了我们的理论结果。
引用
@article{arxiv.1905.08443,
title = {The Geometry of Deep Networks: Power Diagram Subdivision},
author = {Randall Balestriero and Romain Cosentino and Behnaam Aazhang and Richard Baraniuk},
journal= {arXiv preprint arXiv:1905.08443},
year = {2019}
}