针对多模态编码器的数据投毒攻击
密码学与安全
2023-06-06 v2 机器学习
摘要
近来，利用视觉与语言两种模态训练强大编码器的新兴多模态模型受到越来越多的关注。然而，从大规模无标注数据集学习也使模型暴露于潜在的投毒攻击风险中，攻击者旨在扰动模型的训练数据以触发其恶意行为。与以往仅对视觉模态投毒的工作不同，本文首次研究针对视觉与语言双模态多模态模型的投毒攻击。具体而言，我们聚焦于回答两个问题：(1) 语言模态是否也易受投毒攻击？以及 (2) 哪一模态最易受攻击？为回答这两个问题，我们提出三类针对多模态模型的投毒攻击。在不同数据集与模型架构上的大量评估表明，三类攻击均能在保持视觉与语言模态模型效用的同时取得显著攻击效果。此外，我们观察到不同模态间的投毒效应存在差异。为缓解攻击，我们提出预训练与训练后两类防御。经验性地表明，两种防御均能在保持模型效用的同时显著降低攻击效果。
引用
@article{arxiv.2209.15266,
title = {Data Poisoning Attacks Against Multimodal Encoders},
author = {Ziqing Yang and Xinlei He and Zheng Li and Michael Backes and Mathias Humbert and Pascal Berrang and Yang Zhang},
journal= {arXiv preprint arXiv:2209.15266},
year = {2023}
}
备注
To Appear in the 40th International Conference on Machine Learning, July 2023