利用跳跃系统理论与二次约束对随机优化方法的统一分析
机器学习
2017-06-27 v1 最优化与控制
摘要
我们开发了一种简单的例程，统一分析了几种最近开发的重要随机优化方法，包括 SAGA、Finito 和随机对偶坐标上升（SDCA）。首先，我们展示了随机优化方法与动态跳跃系统之间的内在联系，并为随机优化方法提出了一般的跳跃系统模型。我们提出的模型将 SAGA、SDCA、Finito 和 SAG 作为特例恢复。然后，我们将跳跃系统理论与几个简单的二次不等式相结合，推导出在各种假设下（有或没有个体凸性等）所提出的跳跃系统模型收敛速率证明的充分条件。推导出的条件是线性矩阵不等式（LMIs），其大小大致与训练集大小成比例。我们利用随机优化方法中的对称性，将这些 LMIs 化简为一些等效的小 LMIs，其大小至多为 3×3。我们求解这些小 LMIs，为 SAGA、Finito 和 SDCA（有或没有个体凸性）提供了新收敛速率的解析证明。我们还解释了为什么我们提出的 LMI 在分析 SAG 时会失败。我们揭示了 SAG 与其他方法之间的关键区别，并简要讨论了如何扩展我们的 LMI 分析以适用于 SAG。我们方法的一个优点是，所提出的分析可以在各种假设下（有或没有个体凸性等）对一大类随机方法实现自动化。
引用
@article{arxiv.1706.08141,
title = {A Unified Analysis of Stochastic Optimization Methods Using Jump System Theory and Quadratic Constraints},
author = {Bin Hu and Peter Seiler and Anders Rantzer},
journal= {arXiv preprint arXiv:1706.08141},
year = {2017}
}
备注
To Appear in Proceedings of the Annual Conference on Learning Theory (COLT) 2017