论神经网络与支持向量机的等价性
机器学习
2022-07-08 v2 计算机视觉与模式识别
机器学习
最优化与控制
摘要
近期研究表明，由梯度下降训练的无限宽神经网络（NN）的动态可由神经切线核（NTK）刻画 \citep{jacot2018neural}。在平方损失下，以无穷小学习率经梯度下降训练的无限宽NN等价于使用NTK的核回归 \citep{arora2019exact}。然而，目前仅已知其与岭回归的等价性 \citep{arora2019harnessing}，而NN与其他核机（KMs）例如支持向量机（SVM）的等价性仍属未知。因此，在本文中，我们旨在建立NN与SVM之间的等价性，具体而言，即由软间隔损失训练的无限宽NN与由次梯度下降训练、带NTK的标准软间隔SVM之间的等价性。我们的主要理论结果包括：建立NN与一类广泛的带有限宽边界的 正则化KMs的等价性（这是先前工作无法处理的），并证明每一个由此类正则化损失函数训练的有限宽NN都近似为一个KM。此外，我们展示了我们的理论可支撑三种实际应用，包括（i）通过相应KM得到NN的\textit{非平凡}泛化界；（ii）无限宽NN的\textit{非平凡}鲁棒性证书（而现有鲁棒性验证方法会给出平凡边界）；（iii）本质上比先前核回归所得更鲁棒的无限宽NN。我们的实验代码可在 \url{https://github.com/leslie-CH/equiv-nn-svm} 获取。
引用
@article{arxiv.2111.06063,
title = {On the Equivalence between Neural Network and Support Vector Machine},
author = {Yilan Chen and Wei Huang and Lam M. Nguyen and Tsui-Wei Weng},
journal= {arXiv preprint arXiv:2111.06063},
year = {2022}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)