超越鲁棒性普适定律：随机特征与神经正切核的更精确定律
机器学习
2023-05-30 v2 机器学习
摘要
机器学习模型易受对抗扰动的影响，Bubeck 与 Sellke 一篇发人深省的论文从过参数化的视角分析了这一现象：平滑地插值数据所需的参数远多于简单地记忆数据。然而，这一“普适”定律仅给出了鲁棒性的必要条件，且无法区分不同模型。本文通过关注两种典型设定下的经验风险最小化，即随机特征与神经正切核（NTK），来弥补这些不足。我们证明，对于随机特征，无论过参数化程度如何，即便满足来自鲁棒性普适定律的必要条件，模型仍不鲁棒。相反，对于偶激活函数，NTK 模型达到普适下界，且一旦满足过参数化的必要条件便具有鲁棒性。这也解决了 Bubeck、Li 与 Nagaraj 先前工作中的一项猜想。我们的分析将模型的核效应与描述其与测试数据交互并捕捉激活函数效应的“交互矩阵”解耦。我们的理论结果得到了合成数据集与标准数据集（MNIST、CIFAR-10）上数值证据的佐证。
引用
@article{arxiv.2302.01629,
title = {Beyond the Universal Law of Robustness: Sharper Laws for Random Features and Neural Tangent Kernels},
author = {Simone Bombari and Shayan Kiyani and Marco Mondelli},
journal= {arXiv preprint arXiv:2302.01629},
year = {2023}
}
备注
Second arxiv version, updated to the icml23 version of the paper