基于临界性感知的高效对抗训练
计算机视觉与模式识别
2026-04-15 v1 人工智能
摘要
视觉转换器（ViT）模型在各种视觉任务上取得了显著的性能，规模化是其在大数据集上应用的关键优势。这种规模化使ViT模型能够表现出强大的泛化能力。然而，随着参数数量的增加，ViT模型对对抗样本的鲁棒性并未按比例提升。对抗训练（AT）是增强鲁棒性最有效的方法之一，但通常需要对整个模型进行微调，导致大型ViT架构的计算成本高昂。本文旨在通过仅微调小部分参数来实现与标准AT相当的鲁棒性。为实现这一目标，我们引入了基于临界性感知的对抗训练（CAAT），这是一种新颖的方法，通过自适应分配资源给最具鲁棒性关键参数来实现仅微调精选模块。具体而言，CAAT高效地识别对对抗鲁棒性贡献最大的参数，然后利用参数高效微调（PEFT）对超过预定义阈值的关键参数所在的权重矩阵进行鲁棒调整。CAAT在扩展至更大视觉转换器架构时表现出良好的泛化能力， potentially 为大规模对抗训练铺平了道路，例如与普通对抗训练相比，CAAT仅对约6%的参数进行调优，却仅出现4.3%的对抗鲁棒性下降。大量实验在三个广泛使用的对抗学习数据集上表明，CAAT在更少的可训练参数下超过了最先进的轻量级AT方法。
引用
@article{arxiv.2604.12780,
title = {Efficient Adversarial Training via Criticality-Aware Fine-Tuning},
author = {Wenyun Li and Zheng Zhang and Dongmei Jiang and Yaowei Wang and Xiangyuan Lan},
journal= {arXiv preprint arXiv:2604.12780},
year = {2026}
}