面向视觉-语言模型鲁棒性的部分去中心化Softmax损失
计算与语言
2026-03-16 v4 人工智能
摘要
随着大型语言模型在自然语言处理（NLP）任务中取得突破，多模态技术变得极为流行。然而，已有研究表明多模态NLP容易受到对抗攻击，即输入的微小扰动即可显著改变模型的输出。尽管在计算机视觉和NLP模型中已提出多种防御技术，但模型的多模态鲁棒性尚未得到充分探索。本文通过限制top K softmax输出，研究修改预训练多模态模型损失函数所带来的对抗鲁棒性。基于评估和评分，我们的实验表明，经过微调后，预训练模型针对常见攻击的对抗鲁棒性可以得到显著提升。未来的研究应关注此类损失函数的输出多样性、泛化能力以及鲁棒性与性能之间的权衡。我们的代码将在本文被接收后公开。
引用
@article{arxiv.2402.03627,
title = {Partially Recentralization Softmax Loss for Vision-Language Models Robustness},
author = {Hao Wang and Jinzhe Jiang and Xin Zhang and Chen Li},
journal= {arXiv preprint arXiv:2402.03627},
year = {2026}
}
备注
The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process