深度平衡模型对抗鲁棒性的深入考察
机器学习
2023-06-05 v1 机器学习
摘要
深度平衡模型（DEQs）摒弃传统的层堆叠范式，转而求解单层的不动点。DEQs在多种应用上以显著的内存效率取得了令人瞩目的性能。与此同时，DEQs的对抗脆弱性引发担忧。已有若干工作提出对单调DEQs进行鲁棒性认证。然而，针对一般DEQs经验鲁棒性的研究投入有限。为此，我们观察到对抗训练的DEQ需要更多前向步数以达到平衡状态，甚至破坏其不动点结构。此外，由于黑盒求解器，DEQs的前向与反向轨迹未对齐。这些事实导致在应用现成攻击来评估或对抗训练DEQs时产生梯度混淆（gradient obfuscation）。鉴于此，我们开发了估计DEQs中间梯度的方法，并将其整合进攻击流程。我们的方法促进了全白盒评估，并为DEQs带来有效的对抗防御。在CIFAR-10上的大量实验验证了DEQs的对抗鲁棒性与同等规模深度网络相当。
引用
@article{arxiv.2306.01429,
title = {A Closer Look at the Adversarial Robustness of Deep Equilibrium Models},
author = {Zonghan Yang and Tianyu Pang and Yang Liu},
journal= {arXiv preprint arXiv:2306.01429},
year = {2023}
}
备注
Accepted at NeurIPS 2022. Our code is available at https://github.com/minicheshire/DEQ-White-Box-Robustness