一种用于带期望约束随机凸优化的数据高效且可行水平集方法
最优化与控制
2020-01-03 v2 机器学习
机器学习
摘要
带期望约束的随机凸优化问题（SOECs）出现在统计学与机器学习、商业和工程领域中。在数据丰富的环境中，SOEC 的目标与约束包含相对于大型数据集定义的期望。因此，求解此类 SOEC 的高效算法需要限制其所使用的数据点比例，我们称之为算法数据复杂度。近期的随机一阶方法在处理 SOEC 时表现出较低的数据复杂度，但仅在收敛时保证近可行与近最优。这些方法在启发式终止时（由于理论收敛准则过于保守，这种情况经常发生）可能返回高度不可行的求解。该问题限制了将一阶方法用于若干应用，其中 SOEC 约束编码了实施要求。我们为 SOEC 设计了一种随机可行水平集方法（SFLS），其具有低数据复杂度并在收敛前强调可行性。具体而言，我们的水平集方法通过调用一种新颖的一阶预言机来求解求根问题，该预言机通过扩展镜像下降与在线验证技术来计算水平集函数的随机上界。我们证明 SFLS 在每次求根迭代中保持高概率可行解，并且相对于最先进的确定性可行水平集与随机次梯度方法表现出良好的迭代复杂度。在三个不同应用上的数值实验验证了 SFLS 相对于前者方法的低数据复杂度，并凸显 SFLS 比后者方法显著更快地找到具有较小最优性间隙的可行解。
引用
@article{arxiv.1908.03077,
title = {A Data Efficient and Feasible Level Set Method for Stochastic Convex Optimization with Expectation Constraints},
author = {Qihang Lin and Selvaprabu Nadarajah and Negar Soheili and Tianbao Yang},
journal= {arXiv preprint arXiv:1908.03077},
year = {2020}
}