打破神经网络中传统前向-反向传播的束缚：激活函数

基于梯度的神经网络训练传统上强制前向和反向传播之间的对称性，要求激活函数可微（或次可微）并在某些区域严格单调，以防止出现平坦梯度区域。这种将前向激活与反向梯度紧密联系在一起的对称性，极大地限制了激活函数的选择，特别是排除了那些具有大量平坦或不可微区域的函数。在本文中，我们通过数学分析挑战了这一假设，证明只要梯度方向得以保留，从激活函数导出的精确梯度幅度在很大程度上是冗余的。在基础架构上进行的实证实验——如多层感知器（MLPs）、卷积神经网络（CNNs）和二值神经网络（BNNs）——证实，放宽前向-反向对称性并用更简单或随机的替代方案替换传统梯度不会损害学习，甚至可能提高训练的稳定性和效率。我们明确证明，具有平坦或不可微激活函数（如 Heaviside 阶跃函数）的神经网络可以被有效训练，从而扩展了设计灵活性和计算效率。使用更复杂架构的进一步实证验证仍是未来研究的一个有价值方向。