群上的神经网络

尽管神经网络传统上通常用于逼近定义在 $\mathbb{R}^n$ 上的函数，但图神经网络、点云神经网络以及流形深度学习等方法的成功已表明，利用神经网络逼近定义在更一般空间上的函数具有明确价值。然而神经网络理论未能跟上，相关理论结果（即便存在）都是逐例证明的，缺乏一般理论或与经典工作的联系。为每种新型网络推导新理论支撑的过程已成为理解和验证新方法的瓶颈。本文中，我们将神经网络的定义推广到一般拓扑群，并证明具有单个隐藏层与有界非常数激活函数的神经网络可逼近定义于任意局部紧阿贝尔群上的任意 $\mathcal{L}^p$ 函数。该框架与通用逼近定理涵盖了上述所有情境。我们还通过微小改动推导了重要的推论与扩展，包括紧子集上连续函数的逼近、线性双序群上具 ReLU 激活函数的神经网络，以及向量空间上具仿射变换的神经网络。我们的工作将 Qi 等 [2017]、Sennai 等 [2019]、Keriven 与 Peyre [2019] 以及 Maron 等 [2019] 的近期定理作为特例得到。