GradMax: 利用梯度信息生长神经网络
机器学习
2022-06-08 v3 计算机视觉与模式识别
摘要
神经网络的架构和参数通常是独立优化的，这导致每当架构被修改时都需要对参数进行代价高昂的重新训练。在本工作中，我们转而关注在不需高昂重新训练的情况下生长架构。我们提出了一种在训练期间添加新神经元而不影响已学内容的方法，同时改善了训练动态。我们通过最大化新权重的梯度来实现后者，并通过奇异值分解 (SVD) 高效地找到最优初始化。我们将此技术称为梯度最大化生长 (GradMax)，并在多种视觉任务和架构中证明了其有效性。
引用
@article{arxiv.2201.05125,
title = {GradMax: Growing Neural Networks using Gradient Information},
author = {Utku Evci and Bart van Merriënboer and Thomas Unterthiner and Max Vladymyrov and Fabian Pedregosa},
journal= {arXiv preprint arXiv:2201.05125},
year = {2022}
}
备注
ICLR 2022