面向非凸优化的在线到非凸转换通用框架：计划-free SGD同样适用于非凸优化
机器学习
2024-11-12 v1 最优化与控制
机器学习
摘要
本工作受A. Defazio等人（NeurIPS 2024）在神经网络训练中所证明的计划-free方法效果的启发，探讨了计划-free方法在非凸优化设置中的有效性。具体而言，我们展示了计划-free SGD在非光滑、非凸优化问题中实现了最佳迭代复杂度。我们的证明始于开发一种通用的在线到非凸转换框架，将给定的在线学习算法转换为用于非凸损失的优化算法。我们的通用框架不仅恢复了现有的转换，还导致两种新颖的转换方案。值得注意的是，这两种新转换方案中的一种直接对应于计划-free SGD，从而使我们能够确立其最优性。此外，我们的分析提供了关于计划-free SGD参数选择的宝贵见解，弥补了凸性理论无法解释的理论空白。
引用
@article{arxiv.2411.07061,
title = {General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization},
author = {Kwangjun Ahn and Gagik Magakyan and Ashok Cutkosky},
journal= {arXiv preprint arXiv:2411.07061},
year = {2024}
}
备注
Comments would be appreciated!