多模态学习鲁棒性的理解与度量
机器学习
2021-12-30 v2 多媒体
摘要
现代数字世界日益变得多模态。尽管多模态学习近期在多项多模态任务上革新了最优性能，但关于对抗环境下多模态学习鲁棒性的认知仍相对有限。本文中，我们通过聚焦于多模态模型中输入模态的融合，借助称为 MUROAN（MUltimodal RObustness ANalyzer，多模态鲁棒性分析器）的框架，引入对多模态学习对抗鲁棒性的综合度量。我们首先在 MUROAN 中给出多模态模型的统一视图，并识别多模态模型的融合机制为关键漏洞。随后我们引入 MUROAN 中一种称为解耦攻击的新型多模态对抗攻击，旨在通过解耦融合模态来破坏多模态模型。我们利用 MUROAN 的解耦攻击度量若干最先进多模态模型，发现所有这些模型中的多模态融合机制均易受解耦攻击。我们特别证明，在最坏情况下，MUROAN 的解耦攻击通过仅解耦 1.16% 的输入空间即达到 100% 的攻击成功率。最后，我们展示传统对抗训练不足以提升多模态模型针对解耦攻击的鲁棒性。我们希望我们的发现能鼓励研究者致力于改善多模态学习的鲁棒性。
引用
@article{arxiv.2112.12792,
title = {Understanding and Measuring Robustness of Multimodal Learning},
author = {Nishant Vishwamitra and Hongxin Hu and Ziming Zhao and Long Cheng and Feng Luo},
journal= {arXiv preprint arXiv:2112.12792},
year = {2021}
}