BackdoorMBTI：用于后门防御评估的后门学习多模态基准工具包
密码学与安全
2025-03-07 v2 人工智能
摘要
在过去几年中，后门攻击的出现给深度学习系统带来了重大挑战，使攻击者能够在神经网络中植入后门。当带有触发器的数据被后门模型处理时，会导致攻击者所针对的错误预测，而正常数据则产生常规结果。后门攻击的范围正在超越计算机视觉，扩展到自然语言处理和语音识别等领域。然而，现有的后门防御方法通常针对特定的数据模态定制，限制了它们在多模态环境中的应用。虽然多模态学习在面部识别、情感分析、动作识别、视觉问答中被证明高度适用，但这些模型的安全性仍然是一个关键问题。具体而言，目前没有针对多模态应用或相关任务的现有后门基准。为了促进多模态后门的研究，我们引入了 BackdoorMBTI，这是第一个后门学习工具包和基准，旨在对来自十一个常用数据集的三种代表性模态进行多模态评估。BackdoorMBTI 提供了系统的后门学习流水线，涵盖数据处理、数据投毒、后门训练和评估。生成的投毒数据集和后门模型能够对后门防御进行详细评估。鉴于模态的多样性，BackdoorMBTI 促进了跨不同数据类型的系统评估。此外，BackdoorMBTI 提供了一种标准化方法来处理后门学习中的实际因素，例如与数据质量和错误标签相关的问题。我们期望 BackdoorMBTI 将加速多模态环境下后门防御方法的未来研究。代码可在 https://github.com/SJTUHaiyangYu/BackdoorMBTI 获取。
引用
@article{arxiv.2411.11006,
title = {BackdoorMBTI: A Backdoor Learning Multimodal Benchmark Tool Kit for Backdoor Defense Evaluation},
author = {Haiyang Yu and Tian Xie and Jiaping Gui and Pengyang Wang and Ping Yi and Yue Wu},
journal= {arXiv preprint arXiv:2411.11006},
year = {2025}
}