神经训练中的底层相关动力学
机器学习
2022-12-20 v1 数值分析
数值分析
摘要
神经网络的训练是一项计算密集型任务。随着越来越大的网络被训练，理解和建模训练动力学的重要性日益增长。我们在本工作中提出了一个基于参数动力学相关性的模型，该模型极大地降低了维度。我们将我们的算法称为“相关模式分解”（CMD）。它将参数空间划分为在训练周期内行为高度相关的参数组（模式）。通过这种方法，我们实现了显著的降维，例如包含数百万参数的 ResNet-18、Transformer 和 GAN 等网络，仅用少数几个模式就能很好地建模。我们观察到每个模式的典型时间剖面遍布网络的所有层。此外，我们的模型引入了正则化，从而在测试集上产生了更好的泛化能力。这种表示增强了对底层训练动力学的理解，并可以为设计更好的加速技术铺平道路。
引用
@article{arxiv.2212.09040,
title = {The Underlying Correlated Dynamics in Neural Training},
author = {Rotem Turjeman and Tom Berkov and Ido Cohen and Guy Gilboa},
journal= {arXiv preprint arXiv:2212.09040},
year = {2022}
}