关于随机 Polyak 步长：ALI-G 的性能评论
机器学习
2021-05-24 v1
摘要
这是一篇关于 (Loizou et al., 2021) 所报道的 ALI-G 算法 (Berrada et al., 2020) 性能的简短说明。ALI-G (Berrada et al., 2020) 与 SPS (Loizou et al., 2021) 均为 Polyak 步长针对可插值训练数据的机器学习模型优化的改编。主要算法差异在于：(1) SPS 在学习率分母中使用乘法常数而 ALI-G 使用加法常数；(2) SPS 使用依赖于迭代的最大学习率而 ALI-G 使用恒定学习率。两部著作的分析也存在差异，(Loizou et al., 2021) 提出了限制更少的假设。在其实验中，(Loizou et al., 2021) 未对 ALI-G 使用动量（其为算法的标准部分）或标准超参数调优（例如学习率与正则化）。因此本说明作为 ALI-G 在选取良好超参数时可获得改进性能的参考。特别地，我们展示在 CIFAR-10 与 CIFAR-100 上训练 ResNet-34 时，ALI-G 的性能经极少调优可分别达到 93.5%（+6%）与 76%（+8%）。因此 ALI-G 仍是训练插值神经网络的极具竞争力的方法。
引用
@article{arxiv.2105.10011,
title = {Comment on Stochastic Polyak Step-Size: Performance of ALI-G},
author = {Leonard Berrada and Andrew Zisserman and M. Pawan Kumar},
journal= {arXiv preprint arXiv:2105.10011},
year = {2021}
}