ADAPT：用于增强视觉Transformer提示微调鲁棒性的方法
机器学习
2025-02-10 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
已知深度模型（包括视觉Transformer）的性能容易受到对抗攻击的影响。许多现有的针对这些攻击的防御方法（如对抗训练）依赖于全模型微调来在模型中引入鲁棒性。这些防御方法要求为每个任务存储一份完整模型的副本，该副本可能包含数十亿个参数。同时，参数高效的提示微调被用于将基于Transformer的大型模型适应到下游任务，而无需保存大型副本。在本文中，我们从鲁棒性的角度审视了视觉Transformer在下游任务中的参数高效提示微调。我们表明，以前的对抗防御方法在应用于提示微调范式时，会遭受梯度混淆，并且容易受到自适应攻击。我们引入了ADAPT，这是一种在提示微调范式中执行自适应对抗训练的新颖框架。我们的方法仅通过微调约1%的参数，就实现了相对于使用全模型微调的SOTA鲁棒性方法约40%的具有竞争力的鲁棒准确率。
引用
@article{arxiv.2403.13196,
title = {ADAPT to Robustify Prompt Tuning Vision Transformers},
author = {Masih Eskandar and Tooba Imtiaz and Zifeng Wang and Jennifer Dy},
journal= {arXiv preprint arXiv:2403.13196},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (2025)