面向视觉问答的双键多模态后门

深度学习的成功推动了需要多输入域非平凡融合的多模态任务的进展。尽管多模态模型在许多问题中展现出潜力，其增加的复杂性使它们更易受攻击。后门（或木马）攻击是一类安全漏洞，攻击者将恶意秘密行为嵌入网络（例如定向误分类），当向输入添加攻击者指定触发器时被激活。在本工作中，我们展示多模态网络易受一种我们称之为双键多模态后门的新颖攻击类型。该攻击利用最先进网络使用的复杂融合机制来嵌入既有效又隐蔽的后门。所提攻击不使用单一触发器，而是在每个输入模态中嵌入一个触发器，且仅当两个触发器同时存在时才激活恶意行为。我们针对视觉问答（VQA）任务，在多种架构和视觉特征骨干上展示了多模态后门的广泛研究。在VQA模型中嵌入后门的一个主要挑战是大多数模型使用从固定预训练目标检测器提取的视觉特征。这对攻击者具有挑战性，因为检测器可能完全扭曲或忽略视觉触发器，导致后门过度依赖语言触发器的模型。我们通过提出一种为预训练目标检测器设计的视觉触发器优化策略来解决此问题。通过该方法，我们创建了攻击成功率超过98%且仅毒化1%训练数据的双键后门。最后，我们发布TrojVQA，一个大型干净与木马VQA模型集合，以促进针对多模态后门的防御研究。