迈向鲁棒且准确的视觉提示
计算机视觉与模式识别
2023-11-21 v1
摘要
视觉提示(VP)作为一种高效的迁移学习方法，已在视觉任务中展现出潜力。然而，以往工作仅关注基于标准源模型的VP，其在鲁棒源模型场景下的表现仍属未知：从鲁棒模型导出的视觉提示能否继承鲁棒性，同时又因下游数据集异于源数据集而遭遇泛化性能下降？本工作中，我们对该问题给出肯定回答，并从视觉表征层面给出解释。此外，我们引入一种名为提示边界松弛(PBL)的新技术，在使用鲁棒模型作为源模型时，有效缓解视觉提示在标准准确率上的次优结果，且不损失(甚至显著提升)其对抗鲁棒性。跨多个数据集的广泛实验表明，我们的发现具有普遍性，并证明了所提方法的显著益处。
引用
@article{arxiv.2311.10992,
title = {Towards Robust and Accurate Visual Prompting},
author = {Qi Li and Liangzhi Li and Zhouqiang Jiang and Bowen Wang},
journal= {arXiv preprint arXiv:2311.10992},
year = {2023}
}