人工神经网络中何时、何地以及如何添加新神经元
机器学习
2022-05-23 v2
摘要
人工神经网络中的神经发生是一个研究不足且困难的问题，即便与其他结构学习方法（如剪枝）相比也是如此。通过将其分解为触发与初始化，我们引入了一个研究神经发生各个方面的框架：在学习过程中何时、何地以及如何添加神经元。我们提出了神经正交（NORTH*）神经发生策略套件，结合基于激活或权重正交性的逐层触发与初始化，以动态生长高性能网络并收敛至高效规模。我们在多种监督学习任务上针对其他近期神经发生工作评估了我们的贡献。
引用
@article{arxiv.2202.08539,
title = {When, where, and how to add new neurons to ANNs},
author = {Kaitlin Maile and Emmanuel Rachelson and Hervé Luga and Dennis G. Wilson},
journal= {arXiv preprint arXiv:2202.08539},
year = {2022}
}
备注
Accepted at the 1st AutoML conference, 2022