深入考察对L-无穷与空间扰动及其组合的鲁棒性

在对抗机器学习中，流行的$\ell_\infty$威胁模型一直是许多先前工作的焦点。尽管这种不可感知性的数学定义成功捕获了模型应鲁棒的无限集加性图像变换，但这仅是保持图像语义标签不变的所有变换的子集。事实上，先前工作也考虑了针对空间攻击以及其他语义变换的鲁棒性；然而，设计抵御空间与$\ell_{\infty}$扰动组合的防御方法仍相对未被充分探索。在下文中，我们增进了对这一鲜少研究的组合设置的理解。我们从理论上证明，在简单统计设置下，没有任何线性分类器能在该组合对手面前取得超越平凡准确率的表现，说明了其难度。我们随后研究了如何将最先进的$\ell_{\infty}$防御适配到此新型威胁模型，并考察它们对组合攻击的性能。我们发现新提出的TRADES$_{\text{All}}$策略表现最强。分析其对不同大小RT变换的logit的Lipschitz常数，我们发现TRADES$_{\text{All}}$在有无$\ell_\infty$扰动的各种RT变换下均保持稳定。