从泰勒级数到傅里叶合成：周期线性单元

现代神经网络主导范式依赖简单单调递增激活函数，如 ReLU。虽然有效，但这种范式需要大规模参数化模型来逼近复杂函数。本文引入周期线性单元（Periodic Linear Unit, PLU），一种基于正弦波的可学习激活函数，具有周期性非单调特性。PLU 旨在实现最大表达力和数值稳定性，通过其公式化设计及配套创新——称为“Repulsive Reparameterization”（排斥重参数化），防止激活函数退化为非表达性线性函数。我们展示，仅由两个 PLU 神经元构成的最小多层感知机（MLP）即可解决螺旋分类任务，而使用标准激活函数的等效网络则无法实现这一点。这表明从将网络视为分段类泰勒级数逼近器，转向强大的类似傅里叶函数合成器的范式正在形成，通过在神经元本身置入智能，实现参数效率的指数级提升。