论正交初始化的生物合理性及其在解决深度神经网络梯度不稳定性中的应用
神经与进化计算
2023-03-23 v1 人工智能
机器学习
摘要
用正交矩阵初始化人工神经网络（ANN）的突触权重可缓解梯度消失和梯度爆炸问题。对此类初始化方案的一个主要反对意见是，它们被认为在生物学上不合理，因为它们需要因式分解技术，而难以将其归因于神经生物学过程。本文提出两种初始化方案，使网络能够自然演化其权重以形成正交矩阵，提供了预训练正交化总是收敛的理论分析，并通过实证确认所提方案优于随机初始化的循环和前馈网络。
引用
@article{arxiv.2211.08408,
title = {On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks},
author = {Nikolay Manchev and Michael Spratling},
journal= {arXiv preprint arXiv:2211.08408},
year = {2023}
}
备注
9 pages, 3 figures, to be published in ISCMI2022 conference proceedings