面向视觉识别的预训练特洛伊攻击
计算机视觉与模式识别
2023-12-27 v1
摘要
预训练视觉模型(PVM)因其在下游任务微调时的卓越性能而成为主导组件。然而，PVM中后门的存在构成了重大威胁。不幸的是，现有研究主要关注分类任务中的PVM后门攻击，忽视了检测和分割等下游任务中可能继承的后门。在本文中，我们提出预训练特洛伊攻击，将后门嵌入PVM中，从而能够攻击各种下游视觉任务。我们强调了跨任务激活和捷径连接在成功后门攻击中带来的挑战。为了在不同任务中实现有效的触发激活，我们使用类别特定纹理对后门触发模式进行风格化，增强对触发模式中目标类别相关的任务无关低级特征的识别。此外，我们通过引入一种无上下文的毒化训练流程来解决捷径连接问题。在这种方法中，没有上下文背景的触发直接用作训练数据，与使用干净图像的传统做法不同。因此，我们建立了从触发到目标类别的直接捷径，缓解了捷径连接问题。我们进行了大量实验，全面验证了我们的攻击在下游检测和分割任务中的有效性。此外，我们展示了我们的方法在更实际场景中的潜力，包括大型视觉模型和自动驾驶中的3D目标检测。本文旨在提高对在实际场景中应用PVM所带来潜在威胁的认识。我们的代码将在论文发表后提供。
引用
@article{arxiv.2312.15172,
title = {Pre-trained Trojan Attacks for Visual Recognition},
author = {Aishan Liu and Xinwei Zhang and Yisong Xiao and Yuguang Zhou and Siyuan Liang and Jiakai Wang and Xianglong Liu and Xiaochun Cao and Dacheng Tao},
journal= {arXiv preprint arXiv:2312.15172},
year = {2023}
}
备注
19 pages