针对非可分离约束的结构化非凸优化的块坐标下降方法：最优性条件与全局收敛性
最优化与控制
2024-12-17 v2
摘要
坐标下降算法因其在求解非凸问题时具备强大的最优性保证和卓越的实证性能，在机器学习和大规模数据分析中广泛应用。本文引入块坐标下降（Block Coordinate Descent, BCD）方法，用于处理具有非可分离约束的结构化非凸优化问题。不同于传统的大规模坐标下降（CD）方法，本文不假设约束条件是可分离的，而是考虑约束之间可能存在非线性耦合。通过利用问题的内在结构，我们提出了新的CD方法以针对这一特定挑战。 在较为温和的局部有界非凸性条件下，我们证明实现坐标齐次点比标准临界点提供更强的优化准则。此外，在Luo-Tseng误差界条件下，我们的BCD方法对坐标齐次点或临界点具有Q线性收敛性。为展示方法的实际效用，我们将其应用于各种机器学习和信号处理模型。我们还提供了这些模型的几何分析。实验在真实数据上的结果一致显示，我们的方法在目标值上优于现有方法。
引用
@article{arxiv.2412.05918,
title = {Block Coordinate Descent Methods for Structured Nonconvex Optimization with Nonseparable Constraints: Optimality Conditions and Global Convergence},
author = {Zhijie Yuan and Ganzhao Yuan and Lei Sun},
journal= {arXiv preprint arXiv:2412.05918},
year = {2024}
}