DAC-LoRA：用于高效和鲁棒少样本适应的动态对抗课程
计算机视觉与模式识别
2025-09-26 v1 人工智能
机器学习
摘要
视觉语言模型（VLM）是 autonomous driving、medical diagnosis 和 content moderation 等关键应用的基础。虽然参数高效微调（PEFT）方法如 LoRA 使其能够高效地适应特定任务，但这些模型仍对对抗攻击十分脆弱，可能危及安全关键决策。CLIP 作为众多下游 VLM 的 backbone 是一个高价值目标，其漏洞可能在多模态 AI 生态系统中产生级联效应。我们提出一种新型框架 DAC-LoRA，将对抗训练集成到 PEFT 中。该方法的核心原则是逐步增加难度的智能攻击课程，具有普适性，可可能应用于任何迭代攻击方法。基于一阶 stationary 条件（FOSC）和 TRADES 风格的 loss，DAC-LoRA 在不显著牺牲干净准确性的前提下，实现了对抗鲁棒性的显著提升。我们的工作提供了一种有效、轻量且广泛适用的方法，表明 DAC-LoRA 框架可以轻松集成到标准 PEFT 流水线中，以显著增强鲁棒性。
引用
@article{arxiv.2509.20792,
title = {DAC-LoRA: Dynamic Adversarial Curriculum for Efficient and Robust Few-Shot Adaptation},
author = {Ved Umrajkar},
journal= {arXiv preprint arXiv:2509.20792},
year = {2025}
}
备注
Accepted at ICCV2025 Workshop on Safe and Trustworthy Multimodal AI Systems