重温锥下降法以实现内存高效优化
最优化与控制
2023-08-16 v1 机器学习
摘要
锥规划在大量信号处理与机器学习任务中具有有据可查的优势。本文重新审视了近期提出的一阶锥下降（CD）求解器，并从直觉、理论与算法实现三方面予以推进。研究发现，CD 可源于对偶问题的直观几何推导，这为新颖的算法设计打开了大门，其中以 CD 的动量变体——动量锥下降（MOCO）为例。深入探究 CD 与 MOCO 的对偶行为揭示了：i) 有解析依据的停止准则；以及 ii) 设计预条件子以加速对偶收敛的潜力。最后，为扩展半定规划（SDP）尤其针对低秩解，开发了内存高效的 MOCO 变体并进行了数值验证。
引用
@article{arxiv.2308.07343,
title = {Conic Descent Redux for Memory-Efficient Optimization},
author = {Bingcong Li and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:2308.07343},
year = {2023}
}