强大的主干意味着更强大的对抗性迁移性
计算机视觉与模式识别
2025-01-22 v1 人工智能
密码学与安全
机器学习
多智能体系统
摘要
自监督学习（SSL）在机器视觉领域的进展提升了表征的鲁棒性和模型性能，催生了如ResNet和ViT等预训练主干模型，这些模型使用ResNet等SSL方法进行调优。鉴于预训练的计算和数据需求，使用此类主干模型已成为负担之重。然而，这些主干模型可能继承对抗攻击的脆弱性。虽然对抗鲁棒性已在白盒和黑盒设置下受到研究，但基于预训练主干模型的鲁棒性仍大多未被探索。此外，调优元信息在缓解风险利用方面的作用尚不明确。本工作系统性地评估了此类模型在20,000种调优元信息组合（包括微调技术、主干模型家族、数据集和攻击类型）下的对抗鲁棒性。我们提出使用代理模型传递攻击，通过对这些代理模型进行多样化配置的微调来模拟目标知识水平的变化。我们的发现表明，代理式攻击接近白盒方法的效果，即使了解的最少。我们还引入一种朴素的“主干攻击”，仅利用主干生成对抗样本，该方法优于黑盒攻击并与白盒方法相媲美，凸显了模型共享实践中的关键风险。最后，我们的消融实验揭示了增加调优元信息对攻击迁移性的影响，测量每种元信息组合。
引用
@article{arxiv.2501.12275,
title = {With Great Backbones Comes Great Adversarial Transferability},
author = {Erik Arakelyan and Karen Hambardzumyan and Davit Papikyan and Pasquale Minervini and Albert Gordo and Isabelle Augenstein and Aram H. Markosyan},
journal= {arXiv preprint arXiv:2501.12275},
year = {2025}
}