LORE：面向视觉编码器的拉格朗日优化鲁棒嵌入
机器学习
2025-12-02 v2 人工智能
计算机视觉与模式识别
最优化与控制
摘要
视觉编码器已成为现代计算机视觉管道中的基本组件。然而，确保对对抗性扰动的鲁棒性仍是一个关键挑战。最近的研究探索了监督和无监督的对抗微调策略。我们识别到了这些方法的两个关键局限性：(i) 它们常常在微调早期阶段出现不稳定，导致次优收敛和在干净数据上的性能下降；(ii) 它们在鲁棒性和干净数据准确性之间存在次优的权衡，阻碍了两者目标的同步优化。为克服这些挑战，我们提出了拉格朗日优化鲁棒嵌入（LORE），一种新的无监督对抗微调框架。LORE 利用约束优化，这为平衡竞争目标（如提高鲁棒性同时保持名义性能）提供了原则方法。通过强制执行嵌入空间的接近性约束，LORE 在对抗微调期间有效保持干净数据性能。大量实验表明，LORE 在最小化干净数据准确性退化的同时，显著提升了零样例对抗鲁棒性。此外，我们展示了对抗微调的 CLIP 图像编码器在外部分布 generalization 和增强图像嵌入可解释性方面的有效性。
引用
@article{arxiv.2505.18884,
title = {LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders},
author = {Borna Khodabandeh and Amirabbas Afzali and Amirhossein Afsharrad and Seyed Shahabeddin Mousavi and Sanjay Lall and Sajjad Amini and Seyed-Mohsen Moosavi-Dezfooli},
journal= {arXiv preprint arXiv:2505.18884},
year = {2025}
}