通过相关动力学模型增强神经网络训练
机器学习
2024-07-24 v2 动力系统
摘要
随着神经网络规模的扩大，其训练在计算上变得极具挑战性且动力学丰富。在对这些训练动力学日益浓厚的研究兴趣中，我们提出了一个新颖的观察：训练过程中的参数随时间表现出内在的相关性。利用这一点，我们引入了相关模式分解（CMD）。该算法将参数空间聚类为称为模式的组，这些模式在不同 epoch 间表现出同步行为。这使得 CMD 能够仅使用少数几个模式来高效表示 ResNets 和 Transformers 等复杂网络的训练动力学。此外，测试集的泛化能力也得到了提升。我们引入了一种高效的 CMD 变体，旨在与训练过程并发运行。我们的实验表明，在图像分类任务上，CMD 超越了用于紧凑建模动力学的 SOTA 方法。正如我们在联邦学习背景下进行的初步实验所示，我们的建模可以提高训练效率并降低通信开销。
引用
@article{arxiv.2312.13247,
title = {Enhancing Neural Training via a Correlated Dynamics Model},
author = {Jonathan Brokman and Roy Betser and Rotem Turjeman and Tom Berkov and Ido Cohen and Guy Gilboa},
journal= {arXiv preprint arXiv:2312.13247},
year = {2024}
}
备注
ICLR 2024 accepted URL: https://openreview.net/forum?id=c9xsaASm9L