通过雅可比稳态调节在无权重对称下改进平衡传播

平衡传播（EP）是误差反向传播算法（BP）在生物或模拟神经形态基底上计算神经网络梯度的一种引人注目的替代方案。然而，该算法需要权重对称和无穷小平衡扰动（即 nudges）来高效估计无偏梯度。这两项要求在物理系统中均难以实现。然而，权重不对称是否及如何影响其实用性尚属未知，因为在实践中它可能被有限 nudge 引入的偏差所掩盖。为解答该问题，我们研究了可在无权重对称下表述的广义 EP，并从解析上分离了两类偏差来源。对于复可微非对称网络，我们表明有限 nudge 不构成问题，因为仍可通过柯西积分估计精确导数。相反，权重不对称会引入偏差，导致由于 EP 的神经元误差向量相较 BP 对齐性差而任务性能低下。为缓解此问题，我们提出了一种新的稳态目标，直接惩罚网络固定点处雅可比矩阵的功能性不对称。该稳态目标显著提升了网络解决 ImageNet 32x32 等复杂任务的能力。我们的结果为研究和缓解物理网络缺陷对依赖基底松弛动力学的学习算法的不利影响奠定了理论基础。