随机次梯度学习的性能极限，第一部分：单智能体情形
机器学习
2017-04-24 v4 机器学习
多智能体系统
摘要
在本工作及支撑性的第二部分中，我们研究了在比文献中通常考虑的条件更弱的条件下随机次梯度学习策略的性能。新的条件被证明可由若干重要的关注情形自动满足，包括SVM、LASSO和全变分去噪公式。相比之下，这些问题不满足先前分析所用的传统假设，因此从这些早期处理得出的结论不能直接应用于这些问题。本文的结果确立随机次梯度策略可以达到线性收敛速率，而非次线性速率，进入稳态区域。采用一种可实现的指数加权过程来平滑中间迭代并保证在收敛速率和过量风险性能方面的有用性能界。本工作的第一部分聚焦于单智能体场景，这在独立学习应用中常见，而第二部分将分析扩展到网络化学习器。理论结论由若干示例和仿真说明，包括与FISTA程序的比较。
引用
@article{arxiv.1511.07902,
title = {Performance Limits of Stochastic Sub-Gradient Learning, Part I: Single Agent Case},
author = {Bicheng Ying and Ali H. Sayed},
journal= {arXiv preprint arXiv:1511.07902},
year = {2017}
}
备注
Part II is available on http://arxiv.org/abs/1704.06025