深度多项式神经网络的表达能力
机器学习
2019-05-30 v1 神经与进化计算
代数几何
机器学习
摘要
我们研究具有多项式激活的深度神经网络，特别是其表达能力。对于固定架构和激活次数，多项式神经网络定义了一个从权重到多项式的代数映射。该映射的像是与网络相关的函数空间，取闭包后为一个不可约代数簇。本文提出以该簇的维数作为多项式神经网络表达能力的精确度量。我们获得了关于该维数作为架构函数的若干理论结果，包括高激活次数下的精确公式，以及为使深度多项式网络填满环境函数空间时层宽的上界和下界。我们还给出计算证据，表明就表达性而言，层宽先单调递增再单调递减是有利的。最后，我们将我们的研究与训练权重时良好的优化性质联系起来，并揭示了与张量和多项式分解的有趣联系。
引用
@article{arxiv.1905.12207,
title = {On the Expressive Power of Deep Polynomial Neural Networks},
author = {Joe Kileel and Matthew Trager and Joan Bruna},
journal= {arXiv preprint arXiv:1905.12207},
year = {2019}
}