深度线性网络反馈对齐的收敛性分析与隐式正则化
机器学习
2021-10-22 v1 最优化与控制
机器学习
摘要
我们从理论上分析了反馈对齐（Feedback Alignment, FA）算法，这是一种用于训练神经网络、可替代反向传播的高效方法。我们针对深度线性网络在连续与离散动力学下均给出了带收敛速率的保证。此外，我们研究了浅层线性网络的增量学习现象。有趣的是，某些特定初始化意味着次要成分先于主成分被学习，从而可能对该学习算法的有效性产生负面影响；我们将此现象归类为隐式反正则化。我们也给出了初始化方案，使得问题的各成分大致按重要性递减的顺序被学习，从而提供一种隐式正则化形式。
引用
@article{arxiv.2110.10815,
title = {Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks},
author = {Manuela Girotti and Ioannis Mitliagkas and Gauthier Gidel},
journal= {arXiv preprint arXiv:2110.10815},
year = {2021}
}
备注
10 pages (Main) + 19 pages (Appendix), 6 figures