约束非凸优化的拉格朗日函数景观与随机搜索

Zhehui Chen; Xingguo Li; Lin F. Yang; Jarvis Haupt; Tuo Zhao

约束非凸优化的拉格朗日函数景观与随机搜索

机器学习 2019-10-29 v3 最优化与控制机器学习

作者: Zhehui Chen , Xingguo Li , Lin F. Yang , Jarvis Haupt , Tuo Zhao

摘要

我们研究机器学习、信号处理和随机控制中的约束非凸优化问题。众所周知，这些问题可改写为拉格朗日形式的极小极大问题。然而，由于缺乏凸性，其景观未被很好理解，且如何找到拉格朗日函数的稳定平衡仍未知。为弥补此差距，我们研究拉格朗日函数的景观。进一步，我们定义一类特殊的拉格朗日函数。它们具有两个性质：1. 平衡要么是稳定的要么是不稳定的(正式定义见第2节)；2. 稳定平衡对应于原问题的全局最优。我们证明广义特征值(GEV)问题，包括典型相关分析及其他问题，属于该类。具体地，我们利用不变群和对称性质(更多细节见第3节)刻画其稳定与不稳定平衡。受这些简洁几何结构启发，我们提出一种简单、高效且随机的原始对偶算法求解在线GEV问题。理论上，我们提供充分条件，基于此建立渐近收敛速率，并通过扩散近似(广泛应用于应用概率与随机控制)获得在线GEV问题的首个样本复杂度结果。数值结果用以支撑我们的理论。

关键词

约束非凸优化拉格朗日函数景观广义特征值问题随机原始对偶算法在线学习扩散近似样本复杂度

引用

@article{arxiv.1806.05151,
  title  = {On Landscape of Lagrangian Functions and Stochastic Search for Constrained Nonconvex Optimization},
  author = {Zhehui Chen and Xingguo Li and Lin F. Yang and Jarvis Haupt and Tuo Zhao},
  journal= {arXiv preprint arXiv:1806.05151},
  year   = {2019}
}

备注

29 pages, 2 figures

约束非凸优化的拉格朗日函数景观与随机搜索

摘要

关键词

引用

备注

相关论文