一种用于对抗鲁棒泛化的新型即插即用方法
机器学习
2024-11-26 v3
摘要
在本工作中，我们提出一种鲁棒框架，采用对抗鲁棒训练以保护 ML 模型免受扰动测试数据的侵害。我们的贡献可从计算与统计两个视角看待。首先，从计算/优化角度看，我们针对多种监督与无监督 ML 问题（包括回归、分类、双层神经网络、图模型与矩阵补全），推导了在对抗扰动具多种范数约束下若干广泛使用的损失函数的即用精确解。这些解或为闭式，或为易处理的优化问题，如1维凸优化、半定规划、凸差规划或基于排序的算法。其次，从统计/泛化角度看，利用其中部分结果，我们推导了各类问题的对抗 Rademacher 复杂度新界，从而得到新的泛化界。第三，我们在真实世界数据集上针对回归与分类等监督问题，以及矩阵补全与图模型学习等无监督问题进行了合理性检验实验，计算开销极小。
引用
@article{arxiv.2208.09449,
title = {A Novel Plug-and-Play Approach for Adversarially Robust Generalization},
author = {Deepak Maurya and Adarsh Barik and Jean Honorio},
journal= {arXiv preprint arXiv:2208.09449},
year = {2024}
}