结合谱捆绑与草图技术的快速、可扩展、热启动半定规划
最优化与控制
2024-02-13 v2 机器学习
摘要
虽然半定规划 (SDP) 传统上局限于中等规模的问题,但近期结合矩阵草图技术的算法已经能够求解更大规模的 SDP。然而,这些方法以增加必要迭代次数为代价来实现可扩展性,导致随着问题规模的增长收敛速度变慢。此外,它们需要依赖于迭代的参数调度,这妨碍了对实际应用中(如数据增量到达或混合整数规划)至关重要的热启动初始化的有效利用。我们提出了结合草图技术的统一谱捆绑 (USBS),这是一种可证明正确、快速且可扩展的算法,用于求解大规模 SDP,并可以利用热启动初始化来进一步加速收敛。我们提出的算法是一种谱捆绑方法,用于求解包含等式和不等式约束的一般 SDP。此外,当结合可选的矩阵草图技术时,我们的算法在保持收敛速度的同时,实现了与先前工作相比显著提升的可扩展性。我们通过多个应用实证展示了我们方法的有效性,包括使用和不使用热启动的情况。例如,在一个具有超过 20 亿决策变量的实例上,USBS 比最先进的可扩展 SDP 求解器实现了 500 倍的加速。
引用
@article{arxiv.2312.11801,
title = {Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching},
author = {Rico Angell and Andrew McCallum},
journal= {arXiv preprint arXiv:2312.11801},
year = {2024}
}