过参数化支持向量机中的隐式正则化
统计理论
2023-10-27 v1 统计理论
摘要
在本文中，我们通过将过参数化与 Nesterov 平滑方法相结合，设计了一种用于高维支持向量机（SVM）的无正则化算法，并为由此产生的隐式正则化现象提供了理论保证。具体而言，我们构造了一个过参数化的 hinge 损失函数，并通过在该损失函数上利用无正则化梯度下降来估计真实参数。Nesterov 方法的使用提高了我们算法的计算效率，尤其在确定停止准则和降低计算复杂度方面。在适当选择初始化、步长和光滑参数下，我们证明了无正则化梯度下降达到了近预言统计收敛速率。此外，我们通过大量数值实验验证了我们的理论发现，并将所提方法与显式正则化进行了比较。我们的结果说明了在稀疏 SVM 中通过梯度下降结合过参数化来采用隐式正则化的优势。
引用
@article{arxiv.2310.17124,
title = {Implicit Regularization in Over-Parameterized Support Vector Machine},
author = {Yang Sui and Xin He and Yang Bai},
journal= {arXiv preprint arXiv:2310.17124},
year = {2023}
}