稀疏maxout网络的表达性
机器学习
2025-10-17 v1 人工智能
组合数学
摘要
我们研究稀疏maxout网络的表达性，其中每个神经元从前一层取固定数量的输入并采用或多或少的maxout激活。此设置捕捉了卷积神经网络或图神经网络的关键特征。我们建立了由此类网络可计算函数与虚拟多面体类之间的二义性，将几何与网络表达性问题联系起来。特别是，我们导出了关联多面体维数的紧界，这是我们分析的核心工具。基于此，我们构造了深度层次结构。尽管足够深的稀疏maxout网络是通用且完备的，但我们证明若未达到所需深度，宽度无法弥补固定入度约束下的稀疏性。
关键词
引用
@article{arxiv.2510.14068,
title = {On the expressivity of sparse maxout networks},
author = {Moritz Grillo and Tobias Hofmann},
journal= {arXiv preprint arXiv:2510.14068},
year = {2025}
}