有限内存 Kelley 法在复合凸与次模目标下的收敛性
最优化与控制
2018-12-19 v2
摘要
原始单纯形法（OSM）——经典 Kelley 割平面法的一个变体——已被证明收敛到复合凸与次模目标的最小化子，尽管该方法的收敛速率未知。此外，OSM 需要在每次迭代中求解规模随迭代次数线性增长的子问题。我们提出了 Kelley 法（L-KM）与 OSM 的一个有限内存版本，其所需内存有限（对于 n 维问题至多 n + 1 个约束）且与迭代无关。我们证明了当目标凸部分（g）强凸时 L-KM 的收敛性，并表明当 g 同时光滑时其线性收敛。我们的分析依赖于复合目标最小化与对应次模基多面体上凸函数最小化之间的对偶性。我们引入了带近似修正的完全修正 Frank-Wolfe（FCFW）法的有限内存版本 L-FCFW 以求解对偶问题。我们表明 L-FCFW 与 L-KM 是对偶算法，产生相同的迭代序列；因此二者均线性收敛（当 g 光滑且强凸时）且内存有限。我们提出 L-KM 以最小化复合凸与次模目标；然而，我们关于 L-FCFW 的结果适用于一般多面体，可能具有独立意义。
引用
@article{arxiv.1807.07531,
title = {Limited Memory Kelley's Method Converges for Composite Convex and Submodular Objectives},
author = {Song Zhou and Swati Gupta and Madeleine Udell},
journal= {arXiv preprint arXiv:1807.07531},
year = {2018}
}
备注
15 pages, 3 figures with 12 sub-figures