近似大规模核机中随机梯度法的稳定性
信号处理
2018-04-24 v1 机器学习
机器学习
摘要
本文中，我们度量了用于学习近似 Fourier 原始支持向量机的随机梯度法（SGM）的稳定性。算法的稳定性通过以测试误差与训练误差之间绝对差值度量的泛化误差来考量。我们的问题是通过在线凸优化设定，利用随机 Fourier 特征为二分类问题学习近似核函数。对于凸的、Lipschitz 连续且光滑的损失函数，在给定合理迭代次数下随机梯度法是稳定的。我们证明了在给定假设下，SGM 以高概率对近似核泛化良好。我们使用多个数据集对不同参数下的理论发现进行了实证验证。
引用
@article{arxiv.1804.08003,
title = {Stability of the Stochastic Gradient Method for an Approximated Large Scale Kernel Machine},
author = {Aven Samareh and Mahshid Salemi Parizi},
journal= {arXiv preprint arXiv:1804.08003},
year = {2018}
}
备注
Submitted to Journal of Signal Processing Systems (2018)