基于双重随机梯度的核SVM快速可扩展对抗训练
机器学习
2021-07-22 v1 密码学与安全
摘要
对抗攻击通过生成与自然样本几乎无法区分的样本，对学习模型构成严重威胁。防御对抗攻击是可靠学习系统的关键要素。支持向量机（SVM）是一种经典但在当前深度学习时代仍重要的学习算法。尽管近年来为提高学习模型的对抗鲁棒性已开展广泛研究，但大多局限于深度神经网络（DNNs），针对核SVM的工作仍然空白。本文以核SVM为对象，提出 adv-SVM，通过对抗训练提升其对抗鲁棒性，该方法已被证明是最有前景的防御技术。据我们所知，这是首个致力于核SVM快速可扩展对抗训练的工作。具体而言，我们首先建立原始空间与核空间中样本扰动的联系，并基于该联系给出核SVM对抗训练的简化等价形式。接着，采用基于两种无偏随机近似（即一种针对训练点，另一种针对随机特征）的双重随机梯度（DSG）来更新目标函数的解。最后，我们证明在恒定与递减步长下，由DSG优化的算法以 O(1/t) 的速率收敛到最优解。综合实验结果表明，我们的对抗训练算法对各种攻击具有鲁棒性，同时具有与经典DSG算法相近的效率和可扩展性。
引用
@article{arxiv.2107.09937,
title = {Fast and Scalable Adversarial Training of Kernel SVM via Doubly Stochastic Gradients},
author = {Huimin Wu and Zhengmian Hu and Bin Gu},
journal= {arXiv preprint arXiv:2107.09937},
year = {2021}
}