NESVM：一种用于支持向量机的快速梯度方法

支持向量机是人工智能中许多实际应用（例如分类和事件识别）的宝贵工具。然而，流行的SVM求解器对于具有大量样本和大量特征的应用来说效率不够高。因此，在本文中，我们提出了NESVM，一种快速的梯度SVM求解器，它可以优化各种SVM模型，例如经典SVM、线性规划SVM和最小二乘SVM。与SVM-Perf（其对偶SVM求解的收敛速度上限为 $\mathcal O(1/\sqrt{k})$，其中 $k$ 是迭代次数）和Pegasos（在线SVM，对原始SVM以 $\mathcal O(1/k)$ 的速率收敛）相比，NESVM实现了 $\mathcal O(1/k^{2})$ 的最优收敛速率和线性时间复杂度。特别地，NESVM平滑了原始SVM中不可微的铰链损失和 $\ell_1$ 范数。然后采用无需任何线搜索的最优梯度方法进行优化。在每轮迭代中，当前梯度和历史梯度被结合以确定下降方向，而Lipschitz常数确定步长。每轮迭代仅需两次矩阵-向量乘法。因此，NESVM比现有的SVM求解器更高效。此外，NESVM适用于线性和非线性核。我们还提出了“同伦NESVM”，通过动态减小平滑参数并使用延拓法来加速NESVM。我们在人口普查收入分类、室内/室外场景分类、事件识别和场景识别上的实验表明了NESVM的效率和有效性。NESVM的MATLAB代码将在我们的网站上提供，以供进一步评估。