面向脆弱性感知的鲁棒多模态对抗训练
机器学习
2025-11-25 v1 密码学与安全
摘要
多模态学习通过整合多种模态在各种任务上展现出显著优势。然而，模态之间的相互依赖性增加了多模态模型受到对抗攻击的易感性。现有方法主要针对特定模态进行攻击，或无差别地攻击所有模态。本文发现，这些方法忽略了不同模态对最终鲁棒性贡献的差异，导致鲁棒性表现不佳。为弥合这一差距，我们引入了脆弱性感知鲁棒多模态对抗训练方法（VARMAT），这是一种基于探针训练的对抗训练方法，通过识别每个模态的脆弱性来提升多模态鲁棒性。具体而言，VARMAT首先基于攻击目标的一阶近似（Probe）显式量化每个模态的脆弱性。随后，我们提出了针对高脆弱性模态的定向正则化项，引导鲁棒学习，同时保持任务准确性（Training）。我们在多个涉及多样化模态的数据集上展示了该方法的增强鲁棒性。最终，我们在三个多模态数据集上实现了{12.73%, 22.21%, 11.19%}的鲁棒性提升，揭示了多模态对抗训练中的显著盲区。
引用
@article{arxiv.2511.18138,
title = {Vulnerability-Aware Robust Multimodal Adversarial Training},
author = {Junrui Zhang and Xinyu Zhao and Jie Peng and Chenjie Wang and Jianmin Ji and Tianlong Chen},
journal= {arXiv preprint arXiv:2511.18138},
year = {2025}
}
备注
Accepted by AAAI26