激活松弛算法的可扩展性与生物学合理性研究

近期提出的激活松弛（AR）算法提供了一种简单且鲁棒的方法，仅使用局部学习规则来近似误差反向传播算法。与竞争方案不同，它收敛到精确的反向传播梯度，且仅利用单一类型计算单元和单一向后松弛阶段。我们此前已表明，该算法可通过（i）引入一组可学习的向后权重以克服权重传输问题，以及（ii）避免在每个神经元处计算非线性导数，而进一步简化并更具生物学合理性。然而，这些简化的有效性迄今仅在简单多层感知机（MLP）网络上测试过。在此，我们表明这些简化在使用更复杂CNN架构与具挑战性数据集时仍保持性能，而其他生物学合理方案难以扩展到此类情况。我们还研究了原AR算法的另一生物学不合理假设——冻结前馈传递——是否可在不损害性能的情况下放宽。