潜在视线隐藏（HiPS）攻击：针对 CLIP 目标去除图像中的物体
机器学习
2024-10-18 v1 人工智能
密码学与安全
计算机视觉与模式识别
摘要
机器学习模型已知 vulnerable 对抗攻击，但传统攻击大多仅针对单一模态。随着大型多模态模型（LMM）如 CLIP 的兴起，这类模型融合了视觉与语言能力，暴露了新的漏洞。然而，现有多模态目标攻击旨在完全改变模型输出以满足对手需求。在许多现实场景下，对手可能仅希望对输出进行微妙修改，使下游模型甚至人类类感知不到。我们提出潜在视线隐藏（Hiding-in-Plain-Sight, HiPS）攻击，这是一种新型对抗攻击，通过选择性隐去目标物体来微调模型预测，仿佛目标物体在场景中不存在。我们提出两种 HiPS 攻击变体：HiPS-cls 与 HiPS-cap，并展示其在迁移至下游图像描述模型（如 CLIP-Cap）以实现目标去除图像描述中的物体方面的有效性。
引用
@article{arxiv.2410.13010,
title = {Hiding-in-Plain-Sight (HiPS) Attack on CLIP for Targetted Object Removal from Images},
author = {Arka Daw and Megan Hong-Thanh Chung and Maria Mahbub and Amir Sadovnik},
journal= {arXiv preprint arXiv:2410.13010},
year = {2024}
}
备注
Published in the 3rd Workshop on New Frontiers in Adversarial Machine Learning at NeurIPS 2024. 10 pages, 7 figures, 3 tables