AutoInit：基于雅可比调优的自动初始化
机器学习
2022-06-29 v1 无序系统与神经网络
统计力学
机器学习
摘要
良好的初始化对训练深度神经网络（DNNs）至关重要。此类初始化通常通过试错方法找到，每当架构被大幅修改时都须重新应用，或从较小规模网络继承而导致次优初始化。本工作中我们引入一种新颖且廉价的算法，可为通用前馈DNNs自动找到良好初始化。该算法利用相邻网络块间的雅可比矩阵将网络超参数调至临界性。我们求解了带ReLU全连接网络的算法动力学并推导了其收敛条件。随后我们将讨论扩展至带BatchNorm与残差连接的更通用架构。最后，我们将方法应用于ResMLP与VGG架构，其中我们方法发现的自动一次性初始化在视觉任务上展现出良好性能。
引用
@article{arxiv.2206.13568,
title = {AutoInit: Automatic Initialization via Jacobian Tuning},
author = {Tianyu He and Darshil Doshi and Andrey Gromov},
journal= {arXiv preprint arXiv:2206.13568},
year = {2022}
}
备注
22 pages, 5 figures