深度学习的速率极限
机器学习
2023-07-28 v1 无序系统与神经网络
机器学习
摘要
最先进的神经网络训练需要极大的计算能力。因此自然会想知道它们是否得到了最优训练。在此我们应用随机热力学的一项近期进展，该进展基于初始权重分布与完全训练后网络的最终分布之间的 Wasserstein-2 距离和连接二者的动力学过程的熵产生率之比，可对从前者到达后者的最快速率给出界限。考虑梯度流和朗之万训练动力学，我们给出了线性和可线性化神经网络（如神经切线核（NTK））的这些速率极限的解析表达式。值得注意的是，在关于 NTK 谱和标签的谱分解的一些合理缩放假设下，学习在缩放意义下是最优的。我们的结果与在 CIFAR-10 上用卷积神经网络（CNN）和全连接神经网络（FCN）进行的小规模实验一致，显示出先有一个短暂的高度非最优阶段，随后是一个较长的最优阶段。
引用
@article{arxiv.2307.14653,
title = {Speed Limits for Deep Learning},
author = {Inbar Seroussi and Alexander A. Alemi and Moritz Helias and Zohar Ringel},
journal= {arXiv preprint arXiv:2307.14653},
year = {2023}
}