一种求解稀疏广义特征值问题的连续两阶段方法
最优化与控制
2023-08-24 v1
摘要
稀疏广义特征值问题（sGEP）是统计学习方法（包括稀疏主成分分析、稀疏 Fisher 判别分析与稀疏典型相关分析）中普遍存在的难题，由于其 NP 困难性而呈现出显著的计算复杂性。sGEP 的主要目标是导出最大广义特征向量的稀疏向量近似，有效地将其表述为一个稀疏优化问题。然而，传统的 sGEP 算法常陷入局部最优，并对初始点表现出显著的依赖性。这一困境需要更精细的方法以避免局部最优并在 sGEP 目标值方面获得改进解，本文通过一种新颖的连续两阶段方法来解决该问题。该方法的第一阶段集成一种 sGEP 算法，能够从任意初始点得到一个驻点。随后的阶段通过调整该驻点的支撑集来精炼之，从而得到相对于原驻点具有更优目标值的点。这一支撑集调整通过我们命名为支撑集变更的新颖过程实现。第二阶段得到的最终点随后作为第一阶段算法的初始点，形成循环过程直至满足预定停止准则。我们还提供了该过程的全面收敛性分析。在各种设定下的广泛实验表明，相较现有方法，我们的方法在 sGEP 目标值上取得了显著改进，凸显其作为统计学习与优化中有价值工具的潜力。
引用
@article{arxiv.2308.11904,
title = {A Successive Two-stage Method for Sparse Generalized Eigenvalue Problems},
author = {Qia Li and Jianmin Liao and Lixin Shen and Na Zhang},
journal= {arXiv preprint arXiv:2308.11904},
year = {2023}
}