带动量的归一化随机一阶方法的复杂度分析：面对重尾噪声
最优化与控制
2026-02-12 v2 人工智能
计算复杂性
机器学习
机器学习
摘要
本文提出了针对无约束优化问题的实用归一化随机一阶方法，包括Polyak动量、多外推动量和递归动量。这些方法采用动态更新的算法参数，无需显式知道问题相关量，如 Lipschitz 常数或噪声界。我们在重尾噪声和弱平均光滑性条件下，建立了寻找近似随机稳态点的一阶 oracle复杂度结果——这两种条件都弱于常用的有界方差和均方光滑性假设。我们的复杂度上界要么改进了文献中已知的最佳结果，要么与之相当。本文还 presented了数值实验，以展示所提方法的实际有效性。
引用
@article{arxiv.2506.11214,
title = {Complexity of normalized stochastic first-order methods with momentum under heavy-tailed noise},
author = {Chuan He and Zhaosong Lu and Defeng Sun and Zhanwang Deng},
journal= {arXiv preprint arXiv:2506.11214},
year = {2026}
}