视觉语言模型中的代理鲁棒性可轻松迁移
计算机视觉与模式识别
2026-01-21 v1
摘要
作为提升深度模型防御能力的关键技术，通过蒸馏进行对抗鲁棒性迁移在传统图像分类任务中取得了显著成功。然而，当这种范式应用于视觉语言模型（VLM）（例如 CLIP）时遇到了严峻挑战：为大规模多模态模型构建对抗鲁棒的教师模型需要极高的计算资源。我们通过揭示一个有趣的现象来弥合这一差距：原始 CLIP（未经对抗训练）对由具有不同架构的另一个 CLIP 生成的对抗样本表现出内在的防御能力。我们将其正式定义为代理对抗鲁棒性，并自然地提出了一种异构代理迁移（HPT）框架，在 CLIP 变体之间建立跨架构鲁棒性蒸馏通道，轻松实现从代理模型到目标模型的 VLM 鲁棒性迁移。然而，这种代理迁移范式容易引发严重的过拟合，导致零样本自然泛化能力急剧下降。为解决这一问题，我们利用学习率调度的差异设计了泛化枢轴解耦（GPD）。这将代理迁移过程解耦为保持泛化能力的泛化锚定预热阶段和促进对抗鲁棒性的泛化牵引 HPT 阶段，以在自然泛化与对抗鲁棒性之间实现平衡。在 15 个零样本数据集上的大量实验证明了我们的 HPT-GPD 方法的有效性。代码可在 github.com/fxw13/HPT-GPD 获取。
引用
@article{arxiv.2601.12865,
title = {Proxy Robustness in Vision Language Models is Effortlessly Transferable},
author = {Xiaowei Fu and Fuxiang Huang and Lei Zhang},
journal= {arXiv preprint arXiv:2601.12865},
year = {2026}
}