基于轨迹采样的小批量神经网络集成训练
统计力学
2023-06-28 v2 无序系统与神经网络
机器学习
摘要
大多数迭代式神经网络训练方法利用在小随机子集（或小批量）数据上的损失函数估计来更新参数，这有助于将训练时间与训练数据集的（通常非常庞大的）规模解耦。在此，我们展示小批量方法也可通过轨迹方法以高效方式训练神经网络集成（NNEs）。我们通过训练 NNEs 对 MNIST 数据集中的图像进行分类来说明该方法。此方法改善了训练时间，使其随数据集规模与平均小批量规模之比而缩放，在 MNIST 的情况下通常带来两个数量级的计算改进。我们强调了使用较长轨迹来表示 NNEs 的优势，无论是为了在推理中提高精度，还是为了在小批量更新所需样本方面降低更新成本。
引用
@article{arxiv.2306.13442,
title = {Minibatch training of neural network ensembles via trajectory sampling},
author = {Jamie F. Mair and Luke Causer and Juan P. Garrahan},
journal= {arXiv preprint arXiv:2306.13442},
year = {2023}
}
备注
11 pages, 4 figures, 1 algorithm