一种面向大规模非线性分类的多参数更新傅里叶在线梯度下降算法
信号处理
2022-03-17 v1 机器学习
摘要
大规模非线性分类是支持向量机领域的一项具有挑战性的任务。在线随机傅里叶特征映射算法是处理大规模非线性分类问题的重要方法。这些方法的主要缺点如下：（1）由于学习过程中仅更新超平面向量而随机方向固定，无法保证这些在线方法在逐个到达的数据下能适应数据分布的变化。（2）为获得更好的分类精度，随机方向的维度往往较高，导致测试时间更长。为克服这些缺点，基于一种新颖的随机特征映射，提出了一种面向大规模非线性分类问题的多参数更新傅里叶在线梯度下降算法（MPU-FOGD）。在所提方法中，所建议的随机特征映射具有更低维度，而多参数更新策略可保证学习模型在逐个到达的数据下更好地适应数据分布的变化。理论上，证明了与现有随机傅里叶特征映射相比，所提随机特征映射能给出更紧的误差界。在多个基准数据集上的实证研究表明，与最先进的在线随机傅里叶特征映射方法相比，所提 MPU-FOGD 能获得更好的测试精度。
引用
@article{arxiv.2203.08349,
title = {A Multi-parameter Updating Fourier Online Gradient Descent Algorithm for Large-scale Nonlinear Classification},
author = {Yigying Chen},
journal= {arXiv preprint arXiv:2203.08349},
year = {2022}
}