避免高斯陷阱的 ZeNN 架构
机器学习
2025-08-01 v2 概率论
摘要
我们提出了一种新的简单架构——Zeta 神经网络（ZeNNs），旨在克服标准多层感知器（MLPs）的若干缺点。即，在大宽度极限下，MLPs 是非参数化的，它们没有良定义的逐点极限，失去高斯属性，无法进行特征学习；此外，有限宽度的 MLPs 在学习高频方面表现不佳。新的 ZeNN 架构受调和分析中三个简单原理的启发：i) 枚举感知器并引入不可学习权重以强制收敛；ii) 引入缩放（或频率）因子；iii) 选择导致近似正交系统的激活函数。我们将展示这些思想使我们能够修复 MLPs 的上述缺点。事实上，在无限宽度极限下，ZeNNs 逐点收敛，它们展现出超越高斯性的丰富渐近结构，并进行特征学习。此外，当选择合适的激活函数时，（有限宽度的）ZeNNs 擅长学习低维域函数的高频特征。
引用
@article{arxiv.2505.20553,
title = {A ZeNN architecture to avoid the Gaussian trap},
author = {Luís Carvalho and João L. Costa and José Mourão and Gonçalo Oliveira},
journal= {arXiv preprint arXiv:2505.20553},
year = {2025}
}
备注
New experiments involving PiNNs for solving Schr\"odinger and Bessel-type equations