正弦激活函数在模块加法中的可证明优势

本文研究了激活函数在以两层神经网络学习模加法中的作用。我们首先确立了一个尖锐的表达间隙：正弦 MLP 能够实现宽度为 2 的精确实现，适用于任意固定长度 m；若带偏置，则宽度为 2 的精确实现可在所有长度上统一实现。相比之下，ReLU 网络的宽度必须随 m 线性增长才能进行插值，且无法同时拟合不同模 p 剩余数的两个长度。随后，我们提出了一种新的 Natarajan 维数泛化界限，用于正弦网络，得到 ERM 对常数宽度正弦网络近乎最优的样本复杂度 $\widetilde{\mathcal{O}}(p)$。我们还推导了正弦网络在超参数化 regime 下的宽度无关、基于边际的泛化结果，并对其进行验证。实验方面，正弦网络在各种规模下均一致地优于 ReLU 网络，并表现出强大的长度外推能力。