在线学习与信息指数：论批量大小的重要性及时间/复杂度权衡

我们研究了批量大小$n_b$对使用单遍随机梯度下降（SGD）训练两层神经网络在各项同性协变量的多指标目标函数上的迭代时间$T$的影响。我们刻画了最小化迭代时间的最优批量大小，该大小是目标难度的函数，而难度由信息指数表征。我们表明，使用大批量$n_b \lesssim d^{\frac{\ell}{2}}$进行梯度更新可以在不改变总样本复杂度的情况下最小化训练时间，其中$\ell$是待学习目标的信息指数\citep{arous2021online}，$d$是输入维度。然而，大于$n_b \gg d^{\frac{\ell}{2}}$的批量大小不利于改善SGD的时间复杂度。我们通过一种不同的训练协议——相关损失SGD——可证明地克服了这一基本限制，该协议抑制了损失函数中的自相关项。我们表明，可以通过一个低维常微分方程（ODE）系统来跟踪训练进度。最后，我们通过数值实验验证了我们的理论结果。