Hölder 连续与一致凸性下高阶算法的统一加速
最优化与控制
2019-10-01 v2 人工智能
机器学习
摘要
本文通过非常直观的朴素近端方法视角，推导出用于最小化具有 Hölder 连续导数的凸函数的高阶加速优化算法。在此一般凸设定下，我们提出一个简洁的统一加速框架（UAF），其调和了两种不同的高阶加速路径：一种由 Nesterov 与 Baes [29, 3, 33] 提出，另一种由 Monteiro 与 Svaiter [25] 提出。因此，UAF 仅通过两个与问题相关参数及两个框架设计附加参数，便统一了两种路径的高阶加速实例 [29, 3, 33, 15, 16, 25, 19, 6, 14]。此外，UAF（及其分析）是首个使高阶方法适用于关于非欧氏范数的高阶光滑条件的方法。若函数进一步为一致凸，我们为 UAF 提出一种通用重启方案。UAF 与重启 UAF 的实例迭代复杂度在绝大多数重要情形下匹配现有下界 [2, 16]。为实际实现，我们引入一种新颖且有效的启发式方法，显著简化了框架所需的二分搜索过程。我们通过实验验证该启发式的有效性，并展示高阶加速方法在运行时间复杂度上相对一阶方法的明确且一致的优势。最后，UAF 直接在一般复合凸设定下提出，从而表明现有高阶算法 [29, 3, 33, 16, 6, 14] 可自然扩展至一般复合凸设定。
引用
@article{arxiv.1906.00582,
title = {Unified Acceleration of High-Order Algorithms under H\"{o}lder Continuity and Uniform Convexity},
author = {Chaobing Song and Yong Jiang and Yi Ma},
journal= {arXiv preprint arXiv:1906.00582},
year = {2019}
}
备注
39 pages, 9 figures