学习具有非单调激活函数的单神经元

我们研究用梯度下降（GD）学习单神经元 $\mathbf{x}\mapsto \sigma(\mathbf{w}^T\mathbf{x})$ 的问题。所有已有的正向结果都局限于 $\sigma$ 单调的情形。然而，最近观察到非单调激活函数在许多应用中优于传统的单调激活函数。为填补这一空白，我们在不假设单调性的前提下建立了可学习性。具体而言，当输入分布为标准高斯分布时，我们表明对 $\sigma$ 的温和条件（例如 $\sigma$ 具有主导线性部分）足以保证在多项式时间和多项式样本下的可学习性。此外，在激活函数更强的假设下，输入分布的条件可放宽为边缘分布的非退化性。我们注意到，实用的非单调激活函数（如 SiLU/Swish 和 GELU）满足我们对 $\sigma$ 的条件。我们还讨论了我们的正向结果与已有的关于训练两层神经网络的负向结果之间的关系。