BadCM: 针对跨模态学习的隐形后门攻击
计算机视觉与模式识别
2024-10-04 v1 密码学与安全
机器学习
多媒体
摘要
尽管在单模态学习任务中取得了显著成功，但针对跨模态学习的后门攻击仍未得到充分探索，由于在涉及多模态的情况下缺乏广泛的泛化性和劣势的隐形性。值得注意的是，由于该领域的工作主要沿用单模态视觉攻击的思路，他们在处理多样化的跨模态攻击场景和操控不可察觉的触发样本方面困难重重，限制了其在实际应用中的可行性。本文提出一种 novel bilateral backdoor 以填补跨模态后门研究中的空白，并提出一种针对跨模态学习的通用隐形后门框架(BadCM)。具体而言，我们开发了跨模态挖掘方案，以捕获模态不变性组件作为目标投毒区域，在这些区域注入精心设计的触发模式可被受害模型高效识别。该策略适用于不同图像-文本跨模态模型，使我们的框架适用于各种攻击场景。此外，为生成高隐形性的投毒样本，我们构思了用于视觉和语言模态的模态特定生成器，以便在模态不变区域中隐藏显式触发模式。到目前为止，BadCM 是首个专为多样化跨模态攻击设计的隐形后门方法，旨在统一框架内实现。全面实验评估表明，在典型应用(即跨模态检索和 VQA)中，在多种攻击场景下，BadCM 有效且具通用性。此外，我们表明 BadCM 能稳健地规避现有后门防御措施。我们的代码已公开于 https://github.com/xandery-geek/BadCM。
引用
@article{arxiv.2410.02182,
title = {BadCM: Invisible Backdoor Attack Against Cross-Modal Learning},
author = {Zheng Zhang and Xu Yuan and Lei Zhu and Jingkuan Song and Liqiang Nie},
journal= {arXiv preprint arXiv:2410.02182},
year = {2024}
}