具有多变量非线性的神经架构的函数空间最优性
机器学习
2025-01-13 v3 机器学习
摘要
我们研究了一大类具有多变量非线性/激活函数的浅层神经架构的函数空间最优性（具体为Banach空间最优性）。为此，我们构造了一族由正则化算子、-平面变换和促进稀疏的范数定义的新的Banach空间。我们证明了一个表示定理，指出在这些Banach空间上提出的学习问题的解集完全由具有多变量非线性的神经架构刻画。这些最优架构具有跳跃连接，并与正交权重归一化和多指数模型紧密关联，二者近期在神经网络界均受到关注。我们的框架兼容若干经典非线性，包括修正线性单元（ReLU）激活函数、范数激活函数，以及薄板/多调和样条理论中的径向基函数。我们还展示了底层空间是再生核Banach空间与变分空间的特殊实例。我们的结果阐明了由神经网络（尤其具多变量非线性者）在数据上训练所学函数的正则性，并为实践中发现的若干架构选择提供了新的理论动机。
引用
@article{arxiv.2310.03696,
title = {Function-Space Optimality of Neural Architectures with Multivariate Nonlinearities},
author = {Rahul Parhi and Michael Unser},
journal= {arXiv preprint arXiv:2310.03696},
year = {2025}
}