利用视觉关系提升对抗补丁的跨任务迁移性
计算机视觉与模式识别
2023-04-13 v1 密码学与安全
机器学习
多媒体
摘要
对抗样本的迁移性是评估深度学习系统鲁棒性的关键方面，尤其在黑盒场景下。尽管已有若干方法被提出以增强跨模型迁移性，但对抗样本在不同任务间的迁移性却鲜受关注。随着 Visual ChatGPT 等基础多任务 AI 系统的出现，这一问题日益凸显，使得单一任务生成的对抗样本效用相对有限。此外，这些系统往往包含超出单纯识别类任务的推理功能。为弥补这一不足，我们提出了一种新颖的基于视觉关系的跨任务对抗补丁生成方法 VRAP，旨在评估各类视觉任务的鲁棒性，特别是涉及视觉推理的任务，如视觉问答与图像描述。VRAP 利用场景图将基于物体识别的欺骗与基于谓词的关系统一消除相结合，从而破坏推理任务间共享的视觉推理信息。我们的大量实验表明，VRAP 在跨多样视觉推理任务的黑盒迁移性上显著超越以往方法。
引用
@article{arxiv.2304.05402,
title = {Boosting Cross-task Transferability of Adversarial Patches with Visual Relations},
author = {Tony Ma and Songze Li and Yisong Xiao and Shunchang Liu},
journal= {arXiv preprint arXiv:2304.05402},
year = {2023}
}