期望型广义Stiefel流形上的随机优化
最优化与控制
2024-12-31 v1
摘要
本文考虑一类在期望型广义Stiefel流形（SOEGS）上的随机优化问题，其中目标函数f连续可微。我们提出了一种新颖的约束消解惩罚函数，采用自定义惩罚项（CDFDP），其保持与f相同的可微性阶数。我们的理论分析在温和条件下确立了CDFCP与SOEGS之间的全局等价性，即它们在同一一阶和二阶 stationary点下共享相同的性质。这些等价结果使能够直接实现各种随机优化方法来解决SOEGS。特别是，我们发展了一种随机梯度算法及其加速变体，通过采用自适应步长策略。此外，我们证明了它们寻找CDFCP的ε-stationary点的样本复杂度为O(ε^{-4})。综合数值实验表明，我们提出的算法具有高效和稳健。
引用
@article{arxiv.2412.20008,
title = {Stochastic optimization over expectation-formulated generalized Stiefel manifold},
author = {Linshuo Jiang and Nachuan Xiao and Xin Liu},
journal= {arXiv preprint arXiv:2412.20008},
year = {2024}
}
备注
34 pages