调和基于 DNN 的平滑多数投票分类器的认证鲁棒性与准确率

在 PAC-Bayes 框架下，Gibbs 分类器（定义在后验分布 $Q$ 上）及相应的 $Q$ 加权多数投票分类器通常被用于分析泛化性能。然而，在探讨多数投票分类器的认证鲁棒性及其与泛化之间相互作用的理论研究方面存在显著不足。在本研究中，我们为平滑多数投票分类器（即输入经平滑处理的 $Q$ 加权多数投票分类器）推导出了一个具有认证鲁棒半径的泛化误差界；换言之，该泛化界在认证鲁棒半径内的任何数据扰动下均成立。作为副产品，我们发现泛化界和认证鲁棒半径的基础均在一定程度上依赖于权重谱范数，这启发了在平滑训练中采用谱正则化以提升认证鲁棒性。利用球面高斯输入在平滑训练中与维度无关的性质，我们提出了一种新颖且低成本的谱正则化器来增强平滑多数投票分类器。除了理论贡献外，本文还提供了一组实验结果以验证所提方法的有效性。