面向对抗鲁棒性的视觉提示
计算机视觉与模式识别
2023-05-02 v4 密码学与安全
机器学习
摘要
本工作中，我们利用视觉提示（VP）在测试时提升固定预训练模型的对抗鲁棒性。相比传统对抗防御，VP 使我们能够设计通用的（即数据无关的）输入提示模板，其在测试时具有即插即用能力，可在不引入过多计算开销的情况下实现期望的模型性能。尽管 VP 已成功用于提升模型泛化性，它是否及如何用于抵御对抗攻击仍不明确。我们研究该问题并表明，原始 VP 方法在对抗防御中无效，因为通用输入提示缺乏针对样本特定对抗扰动的鲁棒学习能力。为克服此问题，我们提出一种称为类级对抗视觉提示（C-AVP）的新 VP 方法，以生成类级视觉提示，从而既利用集成提示的优势，又优化其相互关系以提升模型鲁棒性。我们的实验表明，C-AVP 优于传统 VP 方法，标准准确率提升 2.1 倍，鲁棒准确率提升 2 倍。与经典测试时防御相比，C-AVP 还带来了 42 倍的推理时间加速。
引用
@article{arxiv.2210.06284,
title = {Visual Prompting for Adversarial Robustness},
author = {Aochuan Chen and Peter Lorenz and Yuguang Yao and Pin-Yu Chen and Sijia Liu},
journal= {arXiv preprint arXiv:2210.06284},
year = {2023}
}
备注
ICASSP 2023