STIMULUS：随机多目标学习中的快速收敛与低样本复杂度
机器学习
2025-06-26 v1 人工智能
摘要
最近，多目标优化 (MOO) 在机器学习、运筹学和工程中获得了广泛关注。然而，MOO算法的设计仍处于初级阶段，许多现有MOO方法在收敛速度和样本复杂度方面表现不佳。为此，本文提出一种名为STIMULUS（stochastic path-integrated multi-gradient recursive estimator）的算法，这是一种新的稳健方法，用于解决MOO问题。与传统方法不同，STIMULUS引入了一种简单而强大的递归框架，用于更新随机梯度估计以提高收敛性能并降低样本复杂度。此外，我们引入了STIMULUS的增强版本STIMULUS-M，其中包含动量项以进一步加速收敛。我们证明了所提方法在非凸情况下的O(1/T)收敛率，在强凸情况下的O(exp{-μT})收敛率，其中T为总迭代轮数。此外，我们实现了非凸情况下的SOTA O(n+sqrt{n}epsilon^{-1})样本复杂度，以及强凸情况下的O(n+sqrt{n}ln(mu/epsilon))样本复杂度，其中epsilon>0为所需的稳态误差。此外，为缓解STIMULUS和STIMULUS-M中周期性全梯度评估的要求，我们进一步提出了带有自适应批量处理的增强版本STIMULUS+/STIMULUS-M+，并对其进行了理论分析。
引用
@article{arxiv.2506.19883,
title = {STIMULUS: Achieving Fast Convergence and Low Sample Complexity in Stochastic Multi-Objective Learning},
author = {Zhuqing Liu and Chaosheng Dong and Michinari Momma and Simone Shao and Shaoyuan Xu and Yan Gao and Haibo Yang and Jia Liu},
journal= {arXiv preprint arXiv:2506.19883},
year = {2025}
}