超对抗调优：提升预训练大型视觉模型的对抗鲁棒性
计算机视觉与模式识别
2024-10-10 v1
摘要
大型视觉模型已被发现容易受到对抗样本的攻击，这强调了增强其对抗鲁棒性的必要性。虽然对抗训练是深度卷积模型的有效防御手段，但由于计算成本高，它通常难以扩展到大型视觉模型。最近的方法提出了鲁棒微调方法，例如大型视觉模型中低秩适应(LoRA)的对抗调优，但它们仍然难以达到全参数对抗微调的精度。集成各种防御机制为提高大型视觉模型的鲁棒性提供了一种有前景的方法，然而这一范式仍未得到充分探索。为了解决这个问题，我们提出了超对抗调优(HyperAT)，它利用不同方法之间共享的防御知识，同时高效且有效地提高模型鲁棒性。具体来说，每种防御方法的对抗调优被形式化为一个学习任务，一个超网络生成特定于该防御的LoRA。然后，提出了一种随机采样和调优策略，以提取并促进不同防御之间的防御知识迁移。最后，合并多样化的LoRA以增强对抗鲁棒性。在各种数据集和模型架构上的实验表明，HyperAT在不产生过多计算开销的情况下显著增强了预训练大型视觉模型的对抗鲁棒性，建立了新的最先进基准。
引用
@article{arxiv.2410.05951,
title = {Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models},
author = {Kangtao Lv and Huangsen Cao and Kainan Tu and Yihuai Xu and Zhimeng Zhang and Xin Ding and Yongwei Wang},
journal= {arXiv preprint arXiv:2410.05951},
year = {2024}
}