Sparse Polyak：用于高维 M-估计的自适应步长规则
最优化与控制
2025-10-16 v2 机器学习
机器学习
摘要
我们提出并研究了 Sparse Polyak，一种 Polyak 自适应步长的变体，旨在求解问题维度增长远快于样本量的高维统计估计问题。在此类设定下，标准 Polyak 步长表现不佳，需要越来越多的迭代次数才能达到最优统计精度——即使问题依然保持良好条件且/或可达精度本身不随问题规模退化。我们将这一局限性追溯到光滑性度量上的不匹配：在高维情况下，估计 Lipschitz 光滑常数不再有效。相反，估计局限于与问题相关的特定方向上的光滑性（受限 Lipschitz 光滑常数）更为合适。Sparse Polyak 通过修改步长以估计受限 Lipschitz 光滑常数来克服这一问题。我们通过理论分析和数值实验支持了该方法，并展示了其性能的提升。
引用
@article{arxiv.2509.09802,
title = {Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation},
author = {Tianqi Qiao and Marie Maros},
journal= {arXiv preprint arXiv:2509.09802},
year = {2025}
}