论鲁棒性迁移的困难性：基于对称差分假设空间上 Rademacher 复杂度的视角

近期研究表明，在 $\ell_\infty$ 攻击下的对抗鲁棒学习比标准域适应更难推广到不同域。如何跨域迁移鲁棒性一直是域适应领域的关键问题。为探究对抗鲁棒域适应（或称鲁棒性迁移）背后的根本困难，我们提出分析一个控制跨域泛化的关键复杂度度量：{\em 对称差分假设空间} $\mathcal{H} \Delta \mathcal{H}$ 上的对抗 Rademacher 复杂度。对于线性模型，我们证明该复杂度的对抗版本总是大于非对抗版本，这揭示了对抗鲁棒域适应的内在困难。我们还建立了该复杂度度量的上界，进而通过对二分类设定下对抗 Rademacher 复杂度的上界估计，将其推广到 ReLU 神经网络类。最后，尽管鲁棒域适应被证明更困难，我们确实发现了鲁棒学习与标准域适应之间的正向关系。我们解释了\emph{对抗训练如何就标准风险而言帮助域适应}。我们相信我们的结果开启了针对对抗鲁棒域适应泛化理论的研究，并可为来自异构源的分布式对抗鲁棒学习（例如联邦学习场景）提供启示。