无惧选择：几乎所有小批量调度均实现最优泛化
机器学习
2023-10-24 v2 机器学习
摘要
我们针对小批量梯度下降（GD）训练建立了匹配的泛化误差上界与下界，该训练采用确定性或随机性、数据无关但其余任意的批量选择规则。我们考虑光滑 Lipschitz 凸/非凸/强凸损失函数，并表明随机 GD（SGD）的经典上界对于这些任意非自适应批量调度（包括所有确定性调度）同样逐字成立。此外，对于凸与强凸损失，我们直接证明了在上述批量调度类上一致的泛化误差匹配下界，表明所有此类批量调度均实现最优泛化。最后，对于光滑（非 Lipschitz）非凸损失，我们表明在全批量（确定性）GD 在所考虑类中的所有可能批量调度（包括所有随机调度）中基本是最优的。
引用
@article{arxiv.2305.02247,
title = {Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally},
author = {Konstantinos E. Nikolakakis and Amin Karbasi and Dionysis Kalogerias},
journal= {arXiv preprint arXiv:2305.02247},
year = {2023}
}
备注
37 pages, 2 tables