掩码图像建模供应链中的后门攻击
密码学与安全
2022-10-05 v1 机器学习
摘要
掩码图像建模（MIM）革新了用于图像预训练的自监督学习（SSL）。与先前占主导地位的自监督方法（即对比学习）不同，MIM 通过对输入图像的随机块进行掩码和重建达到了最先进的性能。然而，这种新颖生成方法相关的安全与隐私风险尚未被探索。在本文中，我们通过后门攻击的视角对 MIM 进行首次安全风险量化。与先前工作不同，我们首次在模型供应链的每个阶段（即预训练、发布和下游阶段）对 SSL 进行系统性的威胁建模。我们的评估表明，用 MIM 构建的模型在发布和下游阶段易受现有后门攻击，并在预训练阶段被我们提出的方法攻破。例如，在 CIFAR10 上，攻击成功率在下游阶段、发布阶段和预训练阶段分别可达 99.62%、96.48% 和 98.89%。我们还首次研究预训练阶段后门攻击的成功因素，发现触发器数量和触发器模式在后门攻击成功中起关键作用，而触发器位置仅具微小影响。最后，我们在模型供应链各阶段上对三个检测层级防御机制的实证研究表明，不同防御适用于不同阶段的后门攻击。然而，发布阶段的后门攻击无法被所有三个检测层级方法检测到，呼吁未来研究提供更有效的防御。
引用
@article{arxiv.2210.01632,
title = {Backdoor Attacks in the Supply Chain of Masked Image Modeling},
author = {Xinyue Shen and Xinlei He and Zheng Li and Yun Shen and Michael Backes and Yang Zhang},
journal= {arXiv preprint arXiv:2210.01632},
year = {2022}
}