基于分布式 PID 控制的神经网络训练方法

在之前的文章中，我们介绍了基于对称微分方程的神经网络框架。该新框架具有完全对称性，赋予其完美的数学属性。虽然我们已经检查了该系统的一些数学特征，但关于网络训练方法的详细讨论尚未呈现。drawing on 传统反向传播算法的原理，本研究提出了一种替代方法，利用微分方程信号传播而非链式求导进行训练。该方法不仅保持了训练的有效性，也提供了更好的生物解释性。该方法的基础在于该系统的可逆性，这源于其固有的对称性，这是我们的研究的关键方面。然而，仅凭这一方法对于有效的神经网络训练仍不够。为此，我们进一步引入了分布式比例-积分-微分 (PID) 控制方法，强调其在封闭系统中的实现。通过 incorporating 该方法，我们实现了更快的训练速度和 improved accuracy。该方法不仅为神经网络训练提供了新的见解，也扩展了控制方法的研究范围。为验证其有效性，我们将该方法应用于 MNIST 数据集，展示了其实际用途。