Stiefel流形上一类非光滑优化问题的无罚函数不可行方法
最优化与控制
2021-10-06 v3
摘要
转化为带凸紧约束的精确罚函数模型，可为带正交约束的优化问题提供高效的不可行方法。对于光滑与 -范数正则化情形，这些不可行方法采用简单且免正交化的更新格式，并在测试算例中展现出高效率。然而，为在避免正交化的同时保证最终解的可行性，这些不可行方法引入了二次罚项，而不恰当的罚参数会导致数值低效。受光滑优化问题无罚函数方法的启发，我们针对一类带正交约束与非光滑正则项的问题提出了一种近端一阶算法。所得算法称为序贯线性化近端梯度法（SLPG），交替采用切向步与法向步分别改善最优性与可行性。在SLPG中，若需高精度的可行性，正交化过程仅在最后一步调用一次，表明SLPG的主要迭代是免正交化的。此外，切向步与法向步均不涉及罚参数，因此SLPG是无罚函数的，并避免了不当罚参数带来的低效。我们分析了切向步非精确计算时SLPG的全局收敛性质。通过非精确计算切向步，对于光滑情形与 -范数正则化情形，SLPG具有闭式更新格式，从而使其切向步代价低廉。数值实验说明了SLPG相较于现有的一阶方法在数值上的优势。
引用
@article{arxiv.2103.03514,
title = {A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold},
author = {Nachuan Xiao and Xin Liu and Ya-xiang Yuan},
journal= {arXiv preprint arXiv:2103.03514},
year = {2021}
}