针对统一多模态编码器的对抗鲁棒性通过高效校准
计算机视觉与模式识别
2025-11-26 v2
摘要
近期的统一多模态编码器将广泛的模态对齐到共享表示空间，从而支持多样化的跨模态任务。尽管这些模型功能显赫，但在对抗扰动下的鲁棒性仍未得到充分探讨，这是一个对安全敏感应用至关重要的关注点。本文对统一多模态编码器的对抗脆弱性进行了首次全面研究。我们发现，即使是轻微的对抗扰动也会导致所有模态的性能显著下降。非视觉输入（如音频和点云）尤其脆弱，而视觉输入（如图像和视频）也会显著降级。为此，我们提出了一种高效的对抗校准框架，通过不修改预训练编码器或语义中心来提高所有模态的鲁棒性，确保与现有基础模型兼容。该方法引入了模态特定的投影头，仅基于对抗样本进行训练，同时保持背板和嵌入冻结。我们探索了三种训练目标：固定中心交叉熵、干净到对抗 L2 对齐和干净-对抗 InfoNCE，并引入一种正则化策略以确保在攻击下的模态一致对齐。在六种模态和三个 Bind 风格模型上的实验表明，该方法在 epsilon=4/255 时提高了对抗鲁棒性最高可达 47.3 倍，而在保持或甚至提高干净零样本和检索性能的同时，使用的可训练参数不到 1%。
引用
@article{arxiv.2505.11895,
title = {Adversarial Robustness for Unified Multi-Modal Encoders via Efficient Calibration},
author = {Chih-Ting Liao and Zhangquan Chen and Chunlei Meng and Tzu-Yu Huang and Xin Cao and Xu Zheng},
journal= {arXiv preprint arXiv:2505.11895},
year = {2025}
}