神经网络反馈对齐学习机制中的隐式正则化
机器学习
2024-06-05 v2 机器学习
摘要
反馈对齐（FA）方法是一类受生物学启发的局部学习规则，用于训练神经网络以减少层间通信。尽管 FA 在分布式和隐私感知机器学习中具有潜在应用，但其在多类分类上的局限以及对对齐机制缺乏理论理解制约了其影响。本研究引入了一个统一框架，阐明了 FA 中对齐的运行原理。我们的主要贡献包括：（1）一条将突触权重变化与维持同梯度对齐的隐式正则化联系起来的新守恒律，并辅以实验支持；（2）基于对齐主导概念的充分收敛条件；（3）实证分析表明更好的对齐可提升 FA 在复杂多类任务上的性能。总体而言，这些理论与实际进展提升了对生物合理学习规则的可解释性，并为开发增强的 FA 算法奠定了基础。
引用
@article{arxiv.2306.01870,
title = {Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks},
author = {Zachary Robertson and Oluwasanmi Koyejo},
journal= {arXiv preprint arXiv:2306.01870},
year = {2024}
}
备注
19 pages, 7 figures, ICML 2024