针对视觉基础模型的任务无关攻击
计算机视觉与模式识别
2025-03-07 v1 人工智能
密码学与安全
机器学习
摘要
机器学习安全研究主要聚焦于下游任务特定的攻击，即通过优化下游任务特定的损失函数来获取对抗样本。同时，机器学习从业者采用公开可用的预训练视觉基础模型已成为标准实践，这些模型在分类、分割、深度估计、检索、问答等多种应用中共享一个通用的骨干架构。对此类基础模型及其对多个下游任务影响的研究仍远未被充分探索。本工作提出了一种通用框架，通过最大程度地破坏基础模型获取的特征表示来伪造任务无关的对抗样本。我们通过测量该攻击对多个下游任务的影响及其在模型之间的可迁移性，广泛评估了流行视觉基础模型所获取特征表示的安全性。
引用
@article{arxiv.2503.03842,
title = {Task-Agnostic Attacks Against Vision Foundation Models},
author = {Brian Pulfer and Yury Belousov and Vitaliy Kinakh and Teddy Furon and Slava Voloshynovskiy},
journal= {arXiv preprint arXiv:2503.03842},
year = {2025}
}