两个头实则优于一个:通过转导与拒绝迈向更好的对抗鲁棒性
机器学习
2025-06-24 v2
摘要
转导与拒绝均已作为抵御对抗扰动的重要技术而出现。Goldwasser 等人近期的工作表明,拒绝与转导相结合可给出(针对某些问题的)其他手段无法获得的可证明保证。然而,在近期强对抗攻击下,他们的工作被证明在实际深度学习设定中性能较低。本文朝在更现实场景中实现转导+拒绝的潜力迈出一步。我们的关键观察是,Tramèr 所提归约技术的一种新颖应用——该技术迄今仅被用于展示某些防御的脆弱性——可被实际用于构建有效防御。理论上,我们表明在转导设定中谨慎应用该技术可显著改善鲁棒泛化的样本复杂度。我们的理论引导我们设计了一种用于学习选择性模型的新型转导算法;使用最先进攻击的大量实验表明,我们的方法提供了显著更好的鲁棒准确率(在预算 8/255 的 下,CIFAR-10 上 81.6%,CIFAR-100 上 57.9%),优于现有技术。
引用
@article{arxiv.2305.17528,
title = {Two Heads are Actually Better than One: Towards Better Adversarial Robustness via Transduction and Rejection},
author = {Nils Palumbo and Yang Guo and Xi Wu and Jiefeng Chen and Yingyu Liang and Somesh Jha},
journal= {arXiv preprint arXiv:2305.17528},
year = {2025}
}
备注
Accepted to ICML 2024