探索乘法神经网络对光滑函数的逼近能力
机器学习
2023-01-12 v1 神经与进化计算
泛函分析
摘要
乘法层是多种有影响力的神经网络模块（包括自注意力与超网络层）中的关键组件。本文中，我们研究具有以简单乘法操作连接中间神经元的深度神经网络的逼近能力。我们考虑两类目标函数：广义带限函数（常用于建模具有有限带宽的真实世界信号）与嵌入 Sobolev 空间 的 Sobolev 型球。我们的结果表明，相较于标准 ReLU 神经网络，乘法神经网络能以显著更少的层数与神经元逼近这些函数（就输入维度与逼近误差而言）。这些发现表明乘法门控可优于标准前馈层，并具有改进神经网络设计的潜力。
引用
@article{arxiv.2301.04605,
title = {Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions},
author = {Ido Ben-Shaul and Tomer Galanti and Shai Dekel},
journal= {arXiv preprint arXiv:2301.04605},
year = {2023}
}