环境 - 内在维度差距对对抗脆弱性的影响

机器学习模型上存在对人类不可感知的对抗攻击，这在理论视角下仍然是一个谜。在本工作中，我们引入了两种对抗攻击概念：自然攻击或流形上攻击（对人类/预言机可感知）和非自然攻击或流形外攻击（不可感知）。我们认为，流形外攻击的存在是数据内在维度与环境维度之间维度差距的自然结果。对于 2 层 ReLU 网络，我们证明了即使维度差距不影响从观测数据空间抽取样本的泛化性能，它也会使干净训练的模型在数据空间的流形外方向上更容易受到对抗扰动的攻击。我们的主要结果提供了流形上/外攻击的 $\ell_2,\ell_{\infty}$ 攻击强度与维度差距之间的显式关系。